语音识别 · 原理解析

Qwen3-ASR 工作原理

把声音切成语言模型能读懂的 token,再让语言模型像写文章一样把它们自回归地"写"成文字——这是理解整个系统的钥匙。

开源语音识别套件 · 基于 Qwen3-Omni 基座 · arXiv:2601.21337
52
种语言与方言
含 22 种汉语方言
1–8 s
动态注意力窗口
流式与离线统一
~92 ms
流式首词延迟
0.6B 高吞吐版
Apache 2.0
全家族开源
可本地私有化部署
00

概览:一句话与三大件

Qwen3-ASR 是阿里千问于 2026 年 1 月开源的语音识别模型家族,包含 Qwen3-ASR-1.7B、Qwen3-ASR-0.6B 两个识别模型,以及一个专门预测时间戳的 Qwen3-ForcedAligner-0.6B。

它采用经典的编码器—解码器结构,但解码器直接复用 Qwen3 文本大模型,因此天然继承了语言知识与多语言能力。整个系统由三大件串联:

01 / ENCODE

AuT 音频编码器

把波形压缩成 12.5Hz 的声学 token,并用动态窗口的 Transformer 编码成语义表示。

02 / PROJECT

Projector 投影层

一个线性层,把声学表示对齐到 LLM 的词嵌入空间——翻译成语言模型看得懂的语言。

03 / DECODE

Qwen3 LLM 解码器

1.7B 或 0.6B 的文本大模型,带 Q/K Norm 与 MRoPE,自回归地吐出文字 token。

04 / ALIGN

ForcedAligner(旁路)

独立的非自回归模型,并行吐出所有词的起止时间戳,与识别主模型解耦。

核心洞察流式与离线不是两个模型,而是同一套权重通过调节注意力窗口大小切换的两种工作模式。这是整个设计里最关键、也最省成本的一点。
01

整体架构:数据如何流过系统

从 16kHz 的 WAV 波形到最终文字,数据依次经过三个串联组件。每一步都在"降维":把高冗余的音频信号,逐级压缩成信息密度更高、语言模型可处理的表示。

Qwen3-ASR 三大组件架构 音频经 AuT 编码器提取特征,Projector 投影对齐,Qwen3 解码器自回归生成文本。 数据如何流过 Qwen3-ASR AuT 音频编码器 300M / 180M 参数 Mel 频谱提取 128 维 @ 100Hz Conv2D 8× 下采样 → 12.5Hz token Transformer 编码 动态注意力窗口 Projector 投影 / 对齐层 线性投影层 声学 token 映射到词嵌入 对齐两个空间 Qwen3 LLM 解码器 1.7B / 0.6B Q/K Norm + MRoPE 自回归生成 文本 token 输出转写文本 输入:16kHz WAV 音频 → 输出:转写文本(52 种语言与方言)
图 1 · Qwen3-ASR 三大组件的数据流。转写文本由主链路生成,时间戳由旁路 ForcedAligner 单独产生。
02

声音如何变成 token

这是 AuT(Audio Transformer)编码器内部发生的事,也是它区别于传统 ASR 的关键。音频并不是一次性整段喂进去的,而是被切块、压缩后再编码。

  1. 提取 Mel 频谱16kHz 波形经 STFT(窗长 25ms、步长 10ms)转成 128 维 Fbank / Mel 特征,帧率 100Hz,即每 10 毫秒一帧。
  2. 分块卷积,8 倍下采样Mel 不是整段处理,而是切成 100 帧一块,每块独立做 3 层 Conv2D。每 100 帧压缩为 13 个 token,帧率从 100Hz 降到 12.5Hz——1 秒声音只剩约 12 个 token。
  3. 带窗口的 Transformer 编码下采样后的 token 序列进入 Transformer。注意力被限制在动态窗口内(训练时 1–8 秒,推理时固定 8 秒约 104 个 token),窗口之间互不attend。
  4. 分块位置编码正弦位置编码按块施加(每块从位置 0 重新计数),而非全局连续——这是支持任意长度流式输入的一个工程细节。

降维的收益很直接:序列缩短 8 倍后,注意力计算量大幅下降,模型才能做到高吞吐。下面是两个识别模型的关键参数对比(来自社区对权重结构的逆向整理):

项目Qwen3-ASR-1.7BQwen3-ASR-0.6B
编码器参数量300M180M
编码器 d_model / 层数 / 头数1024 / 24 / 16896 / 18 / 14
解码器 hidden / 层数2048 / 281024 / 28
词表大小151,936151,936
音频 token 帧率12.5 Hz12.5 Hz
定位高精度旗舰轻量高吞吐
注意:上表的具体层数和维度来自社区对开源权重的逆向分析(见来源的第三级),用于理解结构;官方技术报告主要披露整体架构与训练方法。两者口径不同,不冲突。
03

流式与离线的统一:动态注意力窗口

传统方案里,流式识别(低延迟)和离线识别(高精度)通常是两个独立训练的模型。Qwen3-ASR 用同一个模型、同一个权重覆盖两者,靠的就是 AuT 中 1–8 秒可调的动态注意力窗口。

Qwen3-ASR 动态注意力窗口示意 同一套模型权重,流式模式用小窗口实现低延迟,离线模式用最多 8 秒的大窗口实现高精度。 一套权重,两种窗口:流式与离线通吃 注意力窗口大小动态可调,流式短分块与离线长音频无需两套模型 流式 · 低延迟 1 秒窗口 窗口边说边向前滑,首词响应约 92ms 离线 · 高精度 最多 8 秒窗口 · 看到完整上下文,转写更准 注意力窗口在 1–8 秒动态切换,无需为流式 / 离线分别训练模型
图 2 · 窗口越小越接近流式(延迟低、上下文少),窗口越大越接近离线(延迟高、更准确)。训练时覆盖 1–8 秒的窗口分布,推理时按需选择。

这一设计让模型在部署时更灵活:实时字幕用小窗口保证首字快速吐出,录音转写用大窗口追求准确率,而后端只需维护一套权重。

04

四阶段训练:从听懂声音到写好文字

能力是逐级"喂"出来的——先学会通用的声学表示,再吸收多模态知识,然后专项攻克 ASR 任务格式,最后用强化学习打磨输出。

Qwen3-ASR 四阶段训练流程 依次为 AuT 预训练、Omni 多模态预训练、ASR 监督微调、GSPO 强化学习。 阶段 1 AuT 预训练 约 4000 万小时 伪标签语音 阶段 2 Omni 预训练 3 万亿 token 音视文多任务 阶段 3 ASR 监督微调 多语言 + 流式 上下文偏置增强 阶段 4 GSPO 强化学习 约 5 万条语音 打磨输出质量 基座来自 Qwen3-Omni;另配 ForcedAligner-0.6B 用非自回归方式专门吐词级时间戳
图 3 · 四阶段训练流程。前两阶段构建通用能力,后两阶段聚焦 ASR 任务本身。
阶段目标数据 / 规模
AuT 预训练学习通用、稳定的声学表示,适配动态窗口~4000 万小时伪标签 ASR 数据,以中英文为主
Omni 预训练继承通用语义理解与多模态知识3 万亿 token,覆盖音频、视觉、文本
ASR 监督微调对齐输入输出格式,增强流式与上下文偏置多语言数据 + 流式增强 + 上下文偏置数据
GSPO 强化学习用组序列策略优化进一步打磨输出~5 万条语音
05

词级时间戳:ForcedAligner

转写文本由主链路生成,但"每个词在音频里的起止时间"并不是主模型逐步吐出的,而是交给一个独立的 Qwen3-ForcedAligner-0.6B。它把强制对齐任务改造成非自回归(NAR)时间戳预测:不再逐 token 串行生成,而是一次性并行输出所有词的时间点。

为什么重要

快,且可扩展语言

并行预测把对齐从"逐词等待"变成"一次算完",单并发推理效率极高;支持 11 种主流语言、5 分钟以内音频的任意位置时间戳,精度据报告超越 WhisperX 等级联方案。

怎么用

与主模型组合

识别模型出文字、ForcedAligner 出时间轴,两者组合即可得到带词级时间戳的转写稿——这是字幕生成、语音标注、音视片段分析的基础能力。

歌唱识别、噪声/远场鲁棒性、方言混读等复杂场景,也是这套架构在训练阶段专项增强后的产物,并非仅靠主模型结构。
06

模型家族与关键数字

模型参数用途许可
Qwen3-ASR-1.7B1.7B + 300M高精度旗舰,离线 / 流式统一Apache 2.0
Qwen3-ASR-0.6B0.6B + 180M轻量高吞吐,端侧 / 边缘Apache 2.0
Qwen3-ForcedAligner-0.6B0.6B + 180M词级时间戳对齐(NAR)Apache 2.0
Qwen3-ASR-Flash未披露云端实时 API专有

两个开源识别模型架构相同,支持相同的 52 种语言与方言(30 种语言 + 22 种汉语方言),最大音频时长 1200 秒。0.6B 版在 128 并发下可达约 2000 倍吞吐(RTF 约 0.064),适合高并发服务;1.7B 版在中文歌唱、老人儿童语音、多口音英语等复杂场景达到 SOTA。

07

小结:三个值得记住的点

  1. 一条流水线声音 → Mel 频谱 → 8× 下采样的 12.5Hz 声学 token → Projector 对齐 → Qwen3 解码器自回归出文字。本质是让文本大模型"读懂"声音。
  2. 一套权重两种模式1–8 秒动态注意力窗口让流式与离线共用同一模型,而不是分别训练两个——部署成本和运维复杂度都大幅降低。
  3. 时间戳独立旁路ForcedAligner 用非自回归方式并行吐出词级时间戳,与主识别链路解耦,兼顾速度与精度。

如果继续深入,值得关注的三个具体问题:分块卷积为何能天然支持流式输入、MRoPE 在音频 token 上如何作用、以及 ForcedAligner 的非自回归对齐损失函数如何构造。

08

来源与可信度

本页内容按来源可信度分级列出,便于核对。核心结论以官方论文与文档为准。

  • 一级 · 官方
    Qwen3-ASR 技术报告,arXiv:2601.21337 —— 架构、训练四阶段、动态窗口、评测数据的主依据。
    Qwen3-ASR 项目页,qwen-ai.com/qwen-asr/ —— 家族构成、语言数、吞吐与延迟指标。
  • 一级 · 官方
    阿里云百炼文档(model-studio)—— 云端 API 变体、能力与计费口径的权威出处。
  • 二级 · 整理
    科技行者、AI 铺子等中文技术报道 —— 用于交叉印证训练数据规模、方言数量、场景表现等表述。
  • 三级 · 参考
    GitHub shaneholloman/qwen-asr · MODEL.md —— 社区对权重结构的逆向分析,本文的层数、hidden size、词表大小等细节取自此处,供理解结构使用。
说明:文中"~92ms 首词延迟""2000 倍吞吐"等指标来自第三方报道,不同硬件与并发条件下会有差异;具体层数与维度来自社区逆向,非官方披露口径。引用时请回到一级来源核实。