1 篇文章带有标签 “推理引擎”

深度对比 vLLM 与 SGLang 两大推理引擎：显存分页与基树索引怎样管理 KV 缓存，连续批处理与前缀复用为何把显存利用率拉到九成以上；再拆解 PD 分离为何拆、怎么拆、如何定配比，指明它只提升有效吞吐与尾部延迟而非吞吐，并给出渐进落地清单与常见反模式。