Qwen3-ASR 工作原理
把声音切成语言模型能读懂的 token,再让语言模型像写文章一样把它们自回归地"写"成文字——这是理解整个系统的钥匙。
含 22 种汉语方言
流式与离线统一
0.6B 高吞吐版
可本地私有化部署
概览:一句话与三大件
Qwen3-ASR 是阿里千问于 2026 年 1 月开源的语音识别模型家族,包含 Qwen3-ASR-1.7B、Qwen3-ASR-0.6B 两个识别模型,以及一个专门预测时间戳的 Qwen3-ForcedAligner-0.6B。
它采用经典的编码器—解码器结构,但解码器直接复用 Qwen3 文本大模型,因此天然继承了语言知识与多语言能力。整个系统由三大件串联:
AuT 音频编码器
把波形压缩成 12.5Hz 的声学 token,并用动态窗口的 Transformer 编码成语义表示。
Projector 投影层
一个线性层,把声学表示对齐到 LLM 的词嵌入空间——翻译成语言模型看得懂的语言。
Qwen3 LLM 解码器
1.7B 或 0.6B 的文本大模型,带 Q/K Norm 与 MRoPE,自回归地吐出文字 token。
ForcedAligner(旁路)
独立的非自回归模型,并行吐出所有词的起止时间戳,与识别主模型解耦。
整体架构:数据如何流过系统
从 16kHz 的 WAV 波形到最终文字,数据依次经过三个串联组件。每一步都在"降维":把高冗余的音频信号,逐级压缩成信息密度更高、语言模型可处理的表示。
声音如何变成 token
这是 AuT(Audio Transformer)编码器内部发生的事,也是它区别于传统 ASR 的关键。音频并不是一次性整段喂进去的,而是被切块、压缩后再编码。
- 提取 Mel 频谱16kHz 波形经 STFT(窗长 25ms、步长 10ms)转成 128 维 Fbank / Mel 特征,帧率 100Hz,即每 10 毫秒一帧。
- 分块卷积,8 倍下采样Mel 不是整段处理,而是切成 100 帧一块,每块独立做 3 层 Conv2D。每 100 帧压缩为 13 个 token,帧率从 100Hz 降到 12.5Hz——1 秒声音只剩约 12 个 token。
- 带窗口的 Transformer 编码下采样后的 token 序列进入 Transformer。注意力被限制在动态窗口内(训练时 1–8 秒,推理时固定 8 秒约 104 个 token),窗口之间互不attend。
- 分块位置编码正弦位置编码按块施加(每块从位置 0 重新计数),而非全局连续——这是支持任意长度流式输入的一个工程细节。
降维的收益很直接:序列缩短 8 倍后,注意力计算量大幅下降,模型才能做到高吞吐。下面是两个识别模型的关键参数对比(来自社区对权重结构的逆向整理):
| 项目 | Qwen3-ASR-1.7B | Qwen3-ASR-0.6B |
|---|---|---|
| 编码器参数量 | 300M | 180M |
| 编码器 d_model / 层数 / 头数 | 1024 / 24 / 16 | 896 / 18 / 14 |
| 解码器 hidden / 层数 | 2048 / 28 | 1024 / 28 |
| 词表大小 | 151,936 | 151,936 |
| 音频 token 帧率 | 12.5 Hz | 12.5 Hz |
| 定位 | 高精度旗舰 | 轻量高吞吐 |
流式与离线的统一:动态注意力窗口
传统方案里,流式识别(低延迟)和离线识别(高精度)通常是两个独立训练的模型。Qwen3-ASR 用同一个模型、同一个权重覆盖两者,靠的就是 AuT 中 1–8 秒可调的动态注意力窗口。
这一设计让模型在部署时更灵活:实时字幕用小窗口保证首字快速吐出,录音转写用大窗口追求准确率,而后端只需维护一套权重。
四阶段训练:从听懂声音到写好文字
能力是逐级"喂"出来的——先学会通用的声学表示,再吸收多模态知识,然后专项攻克 ASR 任务格式,最后用强化学习打磨输出。
| 阶段 | 目标 | 数据 / 规模 |
|---|---|---|
| AuT 预训练 | 学习通用、稳定的声学表示,适配动态窗口 | ~4000 万小时伪标签 ASR 数据,以中英文为主 |
| Omni 预训练 | 继承通用语义理解与多模态知识 | 3 万亿 token,覆盖音频、视觉、文本 |
| ASR 监督微调 | 对齐输入输出格式,增强流式与上下文偏置 | 多语言数据 + 流式增强 + 上下文偏置数据 |
| GSPO 强化学习 | 用组序列策略优化进一步打磨输出 | ~5 万条语音 |
词级时间戳:ForcedAligner
转写文本由主链路生成,但"每个词在音频里的起止时间"并不是主模型逐步吐出的,而是交给一个独立的 Qwen3-ForcedAligner-0.6B。它把强制对齐任务改造成非自回归(NAR)时间戳预测:不再逐 token 串行生成,而是一次性并行输出所有词的时间点。
快,且可扩展语言
并行预测把对齐从"逐词等待"变成"一次算完",单并发推理效率极高;支持 11 种主流语言、5 分钟以内音频的任意位置时间戳,精度据报告超越 WhisperX 等级联方案。
与主模型组合
识别模型出文字、ForcedAligner 出时间轴,两者组合即可得到带词级时间戳的转写稿——这是字幕生成、语音标注、音视片段分析的基础能力。
模型家族与关键数字
| 模型 | 参数 | 用途 | 许可 |
|---|---|---|---|
| Qwen3-ASR-1.7B | 1.7B + 300M | 高精度旗舰,离线 / 流式统一 | Apache 2.0 |
| Qwen3-ASR-0.6B | 0.6B + 180M | 轻量高吞吐,端侧 / 边缘 | Apache 2.0 |
| Qwen3-ForcedAligner-0.6B | 0.6B + 180M | 词级时间戳对齐(NAR) | Apache 2.0 |
| Qwen3-ASR-Flash | 未披露 | 云端实时 API | 专有 |
两个开源识别模型架构相同,支持相同的 52 种语言与方言(30 种语言 + 22 种汉语方言),最大音频时长 1200 秒。0.6B 版在 128 并发下可达约 2000 倍吞吐(RTF 约 0.064),适合高并发服务;1.7B 版在中文歌唱、老人儿童语音、多口音英语等复杂场景达到 SOTA。
小结:三个值得记住的点
- 一条流水线声音 → Mel 频谱 → 8× 下采样的 12.5Hz 声学 token → Projector 对齐 → Qwen3 解码器自回归出文字。本质是让文本大模型"读懂"声音。
- 一套权重两种模式1–8 秒动态注意力窗口让流式与离线共用同一模型,而不是分别训练两个——部署成本和运维复杂度都大幅降低。
- 时间戳独立旁路ForcedAligner 用非自回归方式并行吐出词级时间戳,与主识别链路解耦,兼顾速度与精度。
如果继续深入,值得关注的三个具体问题:分块卷积为何能天然支持流式输入、MRoPE 在音频 token 上如何作用、以及 ForcedAligner 的非自回归对齐损失函数如何构造。
来源与可信度
本页内容按来源可信度分级列出,便于核对。核心结论以官方论文与文档为准。
- 一级 · 官方Qwen3-ASR 技术报告,arXiv:2601.21337 —— 架构、训练四阶段、动态窗口、评测数据的主依据。
Qwen3-ASR 项目页,qwen-ai.com/qwen-asr/ —— 家族构成、语言数、吞吐与延迟指标。 - 一级 · 官方阿里云百炼文档(model-studio)—— 云端 API 变体、能力与计费口径的权威出处。
- 二级 · 整理科技行者、AI 铺子等中文技术报道 —— 用于交叉印证训练数据规模、方言数量、场景表现等表述。
- 三级 · 参考GitHub shaneholloman/qwen-asr · MODEL.md —— 社区对权重结构的逆向分析,本文的层数、hidden size、词表大小等细节取自此处,供理解结构使用。