2 篇文章带有标签 “streaming-inference”

用八张图拆解 Hy-SimulMT 同声传译推理：1.6 秒切块、VAD 跳过静音、全量历史续写、1600 毫秒音频压成 11 个语音词元、模型自判说与不说、ST 补偿重译与上下文切断，并给出延迟来源、8 秒时序与代码地图。

拆解 30B 语音同传模型如何在本机跑成常驻流式服务：改 260 行 C++ 打通 --stream，用 800ms 分轮与 stdin 节拍，配音频账本、双 AudioContext 与六类故障分诊，字幕延迟压到 255ms，也坦白单向与轮换的边界。