实践笔记 / Local Inference

HyperFlow H3 Flash:
在 Mac 上生成带声音的视频

一次完整的环境勘察与实测记录。它到底是什么、输入怎么写、14 个节点怎么串、6 步为什么能出片,以及这台机器上会踩到的坑。

2026-11-15 ComfyUI 0.45.0 + MPS Apple M2 Max 64 GB 实测 16 分 43 秒 / 条
成片规格
768×432
24 fps · 5.000 s
采样步数
6
euler · CFG = 1
模型体量
25 GB
DiT 8.4G + 编码器 17G
音轨
32 kHz
立体声 · 峰值 −1.5 dB

01 / 先搞清它是什么

不是「先出画面再配音」,而是一次生成两路信号

HyperFlow H3 Flash 是 MiniMax-H3 的蒸馏加速版,由 Video Rebirth 发布。原版 H3 是约 31B 的 transformer,这一版通过结构化剪枝与低秩分解压到 13.7B,再量化成 Q4_K_M 的 8.4 GB GGUF。

它最关键的特性是画面与声音共用一条去噪序列。音频不是后期合成的,而是和视频 latent 在同一组 transformer block 里被同时去噪——所以嘴型、撞击、风声天然对齐,不需要任何对轨。

组件文件 / 版本体量作用
视频 DiTminimax_h3_fl2va_hyperflow_flash_14b-Q4_K_M.gguf8.4 GB主去噪网络,13.7B 参数
文本编码器qwen3vl_32b_minimax_h3-Q4_K_M.gguf17 GBQwen3-VL-32B,只取前 50 层
视频 VAEminimax_h3_video_vae_fp16.safetensors4.8 GB16 倍空间压缩
音频 VAEminimax_h3_audio_vae_fp32.safetensors577 MB32 kHz ↔ 40 Hz latent
自定义节点ComfyUI-HyperFlow-Flash + ComfyUI-GGUF—HyperFlow Loader、4/6/8 步 sigma 网格
顺手发现的一处浪费:目录里还有个 qwen3vl_..._Q4_K_M.patched.gguf(17 GB),是早期用 patch_gguf.py 修 patch_embed 卷积布局的产物。当前工作流的 CLIPLoaderGGUF 指向的是原始文件,这个 patched 版本没被使用,等于白占 17 GB 磁盘。

02 / 输入格式

核心输入就是一个字符串,但它有一套隐性语法

这点容易搞错:H3 的提示词不走 chat 模板。源码里写得很直白——token ids 是 raw prompt text,没有 <|im_start|> 之类的特殊 token。你写 “User: … Assistant: …” 反而是错的。

一段 prompt 要在同一句里交代五件事,缺一件就掉质量:

  1. 主体与动作

    谁在做什么。单个主体比多主体稳得多。

  2. 场景与环境

    在哪里、什么时间、什么天气。

  3. 镜头语言

    single continuous take、macro shot、dolly-in、aerial。不写镜头,模型倾向给你一个静止机位。

  4. 光影与色彩

    具体到色名:deep indigo and cyan 比 beautiful colors 有效一个数量级。

  5. 声音

    必须显式写,而且必须带 clearly audible。模型会照字面理解 faint / quiet,直接给你一条近静音音轨。

实测用过的 prompt(节选)

Cinematic macro shot, pitch-black frame. A single luminous water droplet
falls in slow motion into a dark glass of still water, rim-lit with electric
cyan and magenta neon. The instant it touches the surface, the water erupts
into a miniature swirling galaxy of glowing blue particles and golden sparks.
The camera pushes in through the splash, then pulls back in one smooth
continuous motion to reveal the glass resting on a rain-soaked windowsill at
night; beyond the window a vast blurred neon city of a thousand colored lights.
— 画面段结束 —
A clearly audible crisp water drop, followed by a deep sub-bass swell and
shimmering crystalline chimes, then a warm swelling synth pad that fills the
soundtrack throughout to the very last frame.

数值参数

参数约束说明
width / height32 的倍数768×432 中 432 不是 32 倍数,纯文生视频可跑(见第 06 节的坑)
length17k + 5124 = 5.17 s 是 5 秒档;训练区间 124–362 帧
steps4 / 6 / 86 是默认平衡档;4 快、8 精细
seed整数固定种子可复现同一条片

除文本之外还有两条可选路径:首尾帧给 first_frame / last_frame;多参考走 ref2va,最多 9 图 + 3 视频 + 3 音频,在 prompt 里用 <Picture 1> 这类标签引用。

03 / 工作流程

一条命令,14 个节点,服务自启自停

venv/bin/python make_5s_hook.py            # 默认选题,768×432 / 5s
venv/bin/python make_5s_hook.py --idea 2   # 换选题
venv/bin/python make_5s_hook.py --prompt "..." --audio-prompt "..."
venv/bin/python make_5s_hook.py --dry-run  # 只看参数不生成

脚本内部做的事:起 ComfyUI → 把工作流 POST 到 /prompt → 轮询 /history/<id> → 从 output/ 取回 mp4 → ffmpeg 裁到精确 5.000 s → ffprobe 自检。

14 节点工作流分组 工作流分成加载、条件、采样、输出四组,共 14 个节点。 加载 DiT · CLIP · 2×VAE #1 #2 #3 #4 条件与 latent prompt → cond #5 采样 6 步 · euler #6 #7 #8 #9 #10 解码输出 画面 + 音频 → mp4 #11 #12 #13 #14 sampler 循环 6 次 两组 VAE 分开解码:视频 VAE 出画面帧,音频 VAE 出 32 kHz 立体声,再由 CreateVideo 封装
14 个节点的四段式结构。中间那一组是唯一真正耗时的部分——单步约 2.5 分钟,跑 6 步。

想手工在 ComfyUI 界面里调参,用 --export-workflow wf.json 把工作流导出来直接拖进去。

04 / 工作原理

三条设计决定了它只需要 6 步

① 一条序列里同时装视频和音频

视频 latent 是 24 通道、1×2×2 patch、24 fps;音频 latent 是 32 通道 × 2 声道、40 帧/秒。两者被打包成一条 [文本 | 条件行 | 音频 | 视频] 序列,过同一组 50 层 DiT block。自注意力让音频行能直接「看见」视频行——这就是音画同步的来源。

打包序列结构 文本、条件行、音频 latent、视频 latent 打包为一条序列,过 50 层 DiT 后分别解码。 一次前向看到的,是一条打包好的序列 文本 tokens 条件行 音频 latent 视频 latent tag 1 tag 0 32ch × 2 @40Hz 24ch · 1×2×2 · 24fps 50 × DiT block · 单流自注意力,音频行能直接看见视频行 视频 VAE → 画面帧 音频 VAE → 32 kHz 立体声
四段共享一条时间轴,却各自带独立的模态标签(tag),让网络知道哪一行该当画面、哪一行该当声音。

② 两条流走各自的噪声日程

视频的 sigma 偏移是 12.0,音频是 3.0。采样器只看到视频日程,音频被按比例携带过去,模型内部用闭式公式(time_shift_sigma)在两者之间换算。所以你在工作流里只需要给一套 sigma。

③ 双时间条件,是 6 步能出片的关键

常规扩散模型要靠 CFG 放大条件、几十步才收敛。HyperFlow 的改造是给每个 token 同时喂当前噪声水平 t 和本步终点 r——训练时让网络学会「从 t 一步跨到 r」,而不是只预测当下这一步的方向。

直接后果:BasicGuider 没有 negative 分支,CFG 恒等于 1,4 / 6 / 8 步就够。代价是蒸馏模型的容错变低——复杂形变、多角色、快速切镜这类内容,堆形容词救不回来,只能换题材。

为什么帧数必须是 17k+5:视频 VAE 的时间压缩比是 (1, 4, 4, 4, 4),17 帧构成一个完整的 token 周期。所以可用帧数是 5、22、39 … 124、141、243、362。124 帧 = 5.167 s,这就是「5 秒档」的实际长度。

05 / 实测结果

一条 768×432 / 5 秒的片子,端到端 16 分 43 秒

0.5 秒处:黑底中霓虹勾边的玻璃器皿,顶部一颗发光水珠
0.5 s黑底 + 霓虹勾边,发光水珠刚落下
2.5 秒处:镜头推近,器皿内出现旋涡状星系
2.5 s推近,皿中旋涡星系成形
4.6 秒处:镜头拉远,玻璃杯立在雨夜窗台,窗外是霓虹城市
4.6 s拉远,雨夜窗台与窗外霓虹城市

三帧分别对应 prompt 里写的三拍:钩子 → 推进 → 反转。一镜到底,没有切点。

指标实测说明
解析度768 × 432与要求一致
帧数120 帧生成 124 帧,裁掉尾部 4 帧对齐到整 5 秒
视频轨时长5.000 s容器 5.024 s,多出的是 AAC 帧补齐(32 ms 整帧)
编码H.264 + AAC24 fps,32 kHz 立体声,1.29 MB
音轨响度−1.5 dB / −12.9 dB峰值 / 均值,正常可听,不是近静音
端到端耗时16 min 43 s含服务冷启动 12 s 与 25 GB 模型加载
速度参照:官方在 4× B200 上跑同样 124 帧是 8.7 秒,单卡 H200 是 36 秒,RTX 5090 是 92 秒。这里 16 分钟是 M2 Max 单卡 MPS 的代价——慢两个数量级,但它不需要任何云端算力,本地离线可跑。

06 / 会踩的坑

四条,都是在这台机器上真撞到的

问题表现处理
5 秒 ≠ 124 帧 124 帧生成出来是 5.167 s 生成 124 帧,再用 ffmpeg 裁到 120 帧 = 精确 5.000 s
432 的奇数 latent 432 ÷ 16 = 27,是奇数。纯文生视频靠 pad_to_patch_size 自动补齐,没问题;一旦接 first_frame,关键帧走 2×2 patchify 要求偶数,直接抛 shape 报错 要做图生视频就把高度改成 768×448
队列残留 ComfyUI 常驻服务的队列会跨会话保留。开工时队列里已有 3 个历史任务,新任务被排到第 3 位,其中一个跑了 35 分钟还没产出 生成前先查 /queue,有残留就 pkill 重启服务,别排队等。注意:删除队列项必须传完整 UUID,传 8 位前缀返回 200 但不生效;{"clear":true} 只清排队、不打断正在跑的
近静音音轨 prompt 里写 faint / quiet 会被照字面执行,出来一条几乎没声音的轨 统一写 clearly audible + fills the soundtrack throughout,成片再按峰值补增益

另有一个环境层面的限制:沙箱里 ps / top 不可用(operation not permitted),查进程与负载只能靠 ComfyUI 的 HTTP 接口;pkill 倒是可用。

07 / 速查

要改东西时看这几行

想做什么怎么做
换题材--idea 2(深海之门,最稳)/ --idea 3(纸飞机,情绪最足)
完全自定义--prompt "画面描述" --audio-prompt "声音描述"
换时长--seconds 10,脚本自动对齐到 243 帧网格再裁到 240
图生视频高度改 448,否则奇数 latent 崩
复现同一条--seed <种子>
导出给界面用--export-workflow wf.json
只查参数不跑--dry-run