5 篇文章带有标签 “funasr”

本文详细介绍了 FunASR 这一基础语音识别工具包，它提供了一套完整的语音处理服务，涵盖了离线转写和实时听写两大核心功能。其技术核心在于 AutoModel 多模型协调引擎，能够将不同的组件，如语音活动检测（VAD）、自动语音识别（ASR）、标点恢复和说话人分离（SV），按序串联起来，实现复杂的音频转录任务。文档清晰展示了从原始音频输入到最终带说话人标签的转录结果的完整处理流程和数据流向。此外，本文不仅罗列了支持的多种中英文模型清单，还附带了音频格式转换指南和代码示例。最后，通过实验性能对比，文章论证了在不同硬件上，结合 VAD、PUNC 和 SV 等组件后对推理用时和处理准确性的影响。

ASR 模型综合对比表

模型名称	中文准确度	英文/混合识别	可读性 (标点)	附加功能	综合评分
Fun-ASR-Nano	极高	完美	极佳	生产环境级别	5.0
SenseVoiceSmall	高	较弱 (漏失)	较好	情感/事件检测	4.0
paraformer-zh (ASR)	一般	极差	无	原始数据	2.0
paraformer-zh (+VAD +PUNC)	高	中等	优秀	自动断句	4.5

建议：

• 如果你的场景需要极致的准确率和排版，首选 Fun-ASR-Nano。
• 如果你的场景需要分析说话人的情绪，SenseVoiceSmall 是唯一的选择。
• 对于普通的长音频转写，带标点补全的 paraformer-zh 性价比最高。

内网IP：27.41.19.62

服务	说明	端口	模型	备注
whisperlivekit	实时语音识别服务	8000	Whisper small (默认) large-v3-turbo	带说话人分离
FunASR	实时语音识别服务	8000	语音识别：paraformer-zh 实时语音识别：paraformer-zh-streaming 实时语音端点检测：fsmn-vad 标点恢复：ct-punc 文本逆规范化：fst_itn_zh	实时与非实时一体化协同（2pass）服务模式
llama-server	GGUF 模型推理服务	8080	Qwen3 Qwen3-8B-Q5_K_M.gguf	模型名：qwen3 上下文长度：32K 不思考

系统设置

系统优化

最大功率模式（一次性设置）

sudo nvpmodel -m 0

启动最高频率（每次重启后设置）

sudo jetson_clocks

清理内存

sync && echo 3 | sudo tee /proc/sys/vm/drop_caches

WhisperLiveKit

• WhisperLiveKit - 实时语音识别

部署服务

tmux new -s wlk

默认容器内应用（标点识别有时会失灵 ⚠️）

FunASR 是一个基础语音识别工具包，提供多种功能，包括语音识别（ASR）、语音端点检测（VAD）、标点恢复、语言模型、说话人验证、说话人分离和多人对话语音识别等。

FunASR 快速入门

核心功能

工作流程

离线文件转写服务

FunASR离线文件转写软件包，提供了一款功能强大的语音离线文件转写服务。拥有完整的语音识别链路，结合了语音端点检测、语音识别、标点等模型，可以将几十个小时的长音频与视频识别成带标点的文字，而且支持上百路请求同时进行转写。输出为带标点的文字，含有字级别时间戳，支持ITN与用户自定义热词等。服务端集成有ffmpeg，支持各种音视频格式输入。软件包提供有html、python、c++、java与c#等多种编程语言客户端。

实时听写服务

FunASR实时语音听写软件包，集成了实时版本的语音端点检测模型、语音识别、语音识别、标点预测模型等。采用多模型协同，既可以实时的进行语音转文字，也可以在说话句尾用高精度转写文字修正输出，输出文字带有标点，支持多路请求。依据使用者场景不同，支持实时语音听写服务（online）、非实时一句话转写（offline）与实时与非实时一体化协同（2pass）3种服务模式。软件包提供有html、python、c++、java与c#等多种编程语言客户端。

FunASR 镜像

• 在线 CPU 版本

SenseVoice 是具有音频理解能力的音频基础模型，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或声学事件检测（AED）。

SenseVoice

核心功能 🎯

SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测

• 多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。
• 富文本识别：
  • 具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。
  • 支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。
• 高效推理： SenseVoice-Small 模型采用非自回归端到端框架，推理延迟极低，10s 音频推理仅耗时 70ms，15 倍优于 Whisper-Large。
• 微调定制： 具备便捷的微调脚本与策略，方便用户根据业务场景修复长尾样本问题。
• 服务部署： 具有完整的服务部署链路，支持多并发请求，支持客户端语言有，python、c++、html、java 与 c# 等。

架构图

• 语音识别（ASR）
• 语言识别（LID）
• 语音情感识别（SER）
• 音频事件检测（AED，比如笑声、掌声、背景音乐、咳嗽等）
• 逆文本归一化（ITN）

安装

克隆代码库

本文档介绍 FunAudioLLM，这是一个旨在增强人类与大型语言模型（LLM）之间自然语音交互的框架。其核心是两个创新模型：用于高精度多语种语音识别、情感识别和音频事件检测的 SenseVoice；以及用于多语种、音色和情感控制的自然语音生成的 CosyVoice。SenseVoice 具有极低的延迟并支持超过 50 种语言，而 CosyVoice 在多语种语音生成、零样本语音生成、跨语言语音克隆以及指令遵循能力方面表现出色。与 SenseVoice 和 CosyVoice 相关的模型已在 Modelscope 和 Huggingface 上开源，同时相应的训练、推理和微调代码也已在 GitHub 上发布。通过将这些模型与 LLM 集成，FunAudioLLM 能够实现语音翻译、情感语音聊天、交互式播客和富有表现力的有声读物叙述等应用，从而推动语音交互技术的边界。

SenseVoice

• GitHub - SenseVoice
• Modelscope - SenseVoice多语言语音理解模型Small

CosyVoice 2

• GitHub - CosyVoice
• Modelscope - CosyVoice语音生成大模型2.0-0.5B

参考资料 FunAudioLLM: Voice Understanding and Generation Foundation Models for Nat