实践笔记 / Local Inference
HyperFlow H3 Flash:
在 Mac 上生成带声音的视频
一次完整的环境勘察与实测记录。它到底是什么、输入怎么写、14 个节点怎么串、6 步为什么能出片,以及这台机器上会踩到的坑。
01 / 先搞清它是什么
不是「先出画面再配音」,而是一次生成两路信号
HyperFlow H3 Flash 是 MiniMax-H3 的蒸馏加速版,由 Video Rebirth 发布。原版 H3 是约 31B 的 transformer,这一版通过结构化剪枝与低秩分解压到 13.7B,再量化成 Q4_K_M 的 8.4 GB GGUF。
它最关键的特性是画面与声音共用一条去噪序列。音频不是后期合成的,而是和视频 latent 在同一组 transformer block 里被同时去噪——所以嘴型、撞击、风声天然对齐,不需要任何对轨。
| 组件 | 文件 / 版本 | 体量 | 作用 |
|---|---|---|---|
| 视频 DiT | minimax_h3_fl2va_hyperflow_flash_14b-Q4_K_M.gguf | 8.4 GB | 主去噪网络,13.7B 参数 |
| 文本编码器 | qwen3vl_32b_minimax_h3-Q4_K_M.gguf | 17 GB | Qwen3-VL-32B,只取前 50 层 |
| 视频 VAE | minimax_h3_video_vae_fp16.safetensors | 4.8 GB | 16 倍空间压缩 |
| 音频 VAE | minimax_h3_audio_vae_fp32.safetensors | 577 MB | 32 kHz ↔ 40 Hz latent |
| 自定义节点 | ComfyUI-HyperFlow-Flash + ComfyUI-GGUF | — | HyperFlow Loader、4/6/8 步 sigma 网格 |
qwen3vl_..._Q4_K_M.patched.gguf(17 GB),是早期用 patch_gguf.py 修 patch_embed 卷积布局的产物。当前工作流的 CLIPLoaderGGUF 指向的是原始文件,这个 patched 版本没被使用,等于白占 17 GB 磁盘。
02 / 输入格式
核心输入就是一个字符串,但它有一套隐性语法
这点容易搞错:H3 的提示词不走 chat 模板。源码里写得很直白——token ids 是 raw prompt text,没有 <|im_start|> 之类的特殊 token。你写 “User: … Assistant: …” 反而是错的。
一段 prompt 要在同一句里交代五件事,缺一件就掉质量:
- 主体与动作
谁在做什么。单个主体比多主体稳得多。
- 场景与环境
在哪里、什么时间、什么天气。
- 镜头语言
single continuous take、macro shot、dolly-in、aerial。不写镜头,模型倾向给你一个静止机位。 - 光影与色彩
具体到色名:
deep indigo and cyan比beautiful colors有效一个数量级。 - 声音
必须显式写,而且必须带
clearly audible。模型会照字面理解faint/quiet,直接给你一条近静音音轨。
实测用过的 prompt(节选)
Cinematic macro shot, pitch-black frame. A single luminous water droplet
falls in slow motion into a dark glass of still water, rim-lit with electric
cyan and magenta neon. The instant it touches the surface, the water erupts
into a miniature swirling galaxy of glowing blue particles and golden sparks.
The camera pushes in through the splash, then pulls back in one smooth
continuous motion to reveal the glass resting on a rain-soaked windowsill at
night; beyond the window a vast blurred neon city of a thousand colored lights.
— 画面段结束 —
A clearly audible crisp water drop, followed by a deep sub-bass swell and
shimmering crystalline chimes, then a warm swelling synth pad that fills the
soundtrack throughout to the very last frame.
数值参数
| 参数 | 约束 | 说明 |
|---|---|---|
| width / height | 32 的倍数 | 768×432 中 432 不是 32 倍数,纯文生视频可跑(见第 06 节的坑) |
| length | 17k + 5 | 124 = 5.17 s 是 5 秒档;训练区间 124–362 帧 |
| steps | 4 / 6 / 8 | 6 是默认平衡档;4 快、8 精细 |
| seed | 整数 | 固定种子可复现同一条片 |
除文本之外还有两条可选路径:首尾帧给 first_frame / last_frame;多参考走 ref2va,最多 9 图 + 3 视频 + 3 音频,在 prompt 里用 <Picture 1> 这类标签引用。
03 / 工作流程
一条命令,14 个节点,服务自启自停
venv/bin/python make_5s_hook.py # 默认选题,768×432 / 5s
venv/bin/python make_5s_hook.py --idea 2 # 换选题
venv/bin/python make_5s_hook.py --prompt "..." --audio-prompt "..."
venv/bin/python make_5s_hook.py --dry-run # 只看参数不生成
脚本内部做的事:起 ComfyUI → 把工作流 POST 到 /prompt → 轮询 /history/<id> → 从 output/ 取回 mp4 → ffmpeg 裁到精确 5.000 s → ffprobe 自检。
想手工在 ComfyUI 界面里调参,用 --export-workflow wf.json 把工作流导出来直接拖进去。
04 / 工作原理
三条设计决定了它只需要 6 步
① 一条序列里同时装视频和音频
视频 latent 是 24 通道、1×2×2 patch、24 fps;音频 latent 是 32 通道 × 2 声道、40 帧/秒。两者被打包成一条 [文本 | 条件行 | 音频 | 视频] 序列,过同一组 50 层 DiT block。自注意力让音频行能直接「看见」视频行——这就是音画同步的来源。
② 两条流走各自的噪声日程
视频的 sigma 偏移是 12.0,音频是 3.0。采样器只看到视频日程,音频被按比例携带过去,模型内部用闭式公式(time_shift_sigma)在两者之间换算。所以你在工作流里只需要给一套 sigma。
③ 双时间条件,是 6 步能出片的关键
常规扩散模型要靠 CFG 放大条件、几十步才收敛。HyperFlow 的改造是给每个 token 同时喂当前噪声水平 t 和本步终点 r——训练时让网络学会「从 t 一步跨到 r」,而不是只预测当下这一步的方向。
直接后果:BasicGuider 没有 negative 分支,CFG 恒等于 1,4 / 6 / 8 步就够。代价是蒸馏模型的容错变低——复杂形变、多角色、快速切镜这类内容,堆形容词救不回来,只能换题材。
(1, 4, 4, 4, 4),17 帧构成一个完整的 token 周期。所以可用帧数是 5、22、39 … 124、141、243、362。124 帧 = 5.167 s,这就是「5 秒档」的实际长度。
05 / 实测结果
一条 768×432 / 5 秒的片子,端到端 16 分 43 秒
三帧分别对应 prompt 里写的三拍:钩子 → 推进 → 反转。一镜到底,没有切点。
| 指标 | 实测 | 说明 |
|---|---|---|
| 解析度 | 768 × 432 | 与要求一致 |
| 帧数 | 120 帧 | 生成 124 帧,裁掉尾部 4 帧对齐到整 5 秒 |
| 视频轨时长 | 5.000 s | 容器 5.024 s,多出的是 AAC 帧补齐(32 ms 整帧) |
| 编码 | H.264 + AAC | 24 fps,32 kHz 立体声,1.29 MB |
| 音轨响度 | −1.5 dB / −12.9 dB | 峰值 / 均值,正常可听,不是近静音 |
| 端到端耗时 | 16 min 43 s | 含服务冷启动 12 s 与 25 GB 模型加载 |
06 / 会踩的坑
四条,都是在这台机器上真撞到的
| 问题 | 表现 | 处理 |
|---|---|---|
| 5 秒 ≠ 124 帧 | 124 帧生成出来是 5.167 s | 生成 124 帧,再用 ffmpeg 裁到 120 帧 = 精确 5.000 s |
| 432 的奇数 latent | 432 ÷ 16 = 27,是奇数。纯文生视频靠 pad_to_patch_size 自动补齐,没问题;一旦接 first_frame,关键帧走 2×2 patchify 要求偶数,直接抛 shape 报错 |
要做图生视频就把高度改成 768×448 |
| 队列残留 | ComfyUI 常驻服务的队列会跨会话保留。开工时队列里已有 3 个历史任务,新任务被排到第 3 位,其中一个跑了 35 分钟还没产出 | 生成前先查 /queue,有残留就 pkill 重启服务,别排队等。注意:删除队列项必须传完整 UUID,传 8 位前缀返回 200 但不生效;{"clear":true} 只清排队、不打断正在跑的 |
| 近静音音轨 | prompt 里写 faint / quiet 会被照字面执行,出来一条几乎没声音的轨 |
统一写 clearly audible + fills the soundtrack throughout,成片再按峰值补增益 |
另有一个环境层面的限制:沙箱里 ps / top 不可用(operation not permitted),查进程与负载只能靠 ComfyUI 的 HTTP 接口;pkill 倒是可用。
07 / 速查
要改东西时看这几行
| 想做什么 | 怎么做 |
|---|---|
| 换题材 | --idea 2(深海之门,最稳)/ --idea 3(纸飞机,情绪最足) |
| 完全自定义 | --prompt "画面描述" --audio-prompt "声音描述" |
| 换时长 | --seconds 10,脚本自动对齐到 243 帧网格再裁到 240 |
| 图生视频 | 高度改 448,否则奇数 latent 崩 |
| 复现同一条 | --seed <种子> |
| 导出给界面用 | --export-workflow wf.json |
| 只查参数不跑 | --dry-run |