1 篇文章带有标签 “inference-throughput”

M2 Max 上跑 Qwen3.8-27B 只有 20 tok/s？实测 348 GB/s 带宽已被吃掉 96%，本文用 MLX 验证 3bit 量化提速 17%、批量并发吞吐 2.37 倍，并逐条拆解 MTP 与 KV 量化为何白费。