1 篇文章带有标签 “continuous-batching”

oMLX 是 Apple Silicon 上的本地推理服务，把 KV 缓存做成跨重启的内容寻址存储；三层缓存、4096 块粒度与连续批处理解掉智能体的 prefill 税，并附实测数据、反证据清单与四步验收方法。