vLLM
也称为 开源 LLM 推理引擎
先用大白话
vLLM 是开源软件，通过组织请求和 GPU 内存，让语言模型高效服务大量用户。
技术定义
vLLM 是开源 LLM 推理与服务引擎，重点提供高吞吐调度、高效 KV 缓存管理和广泛模型/硬件支持。
工程细节
其运行时协调连续批处理、分布式 worker、注意力后端、量化内核和 OpenAI 兼容服务；生产方案也可把 vLLM worker 运行在 NVIDIA Dynamo 等编排层之下。
为什么重要
vLLM 版本与后端变化可显著改变性能。模型专用 MoE 内核、注意力 dispatch、Wide EP 通信与调度路径都会影响最终曲线。
如何在 InferenceX 中解读
InferenceX 把 vLLM 作为一种引擎选择，并固定每个方案的具体镜像。应在模型、精度、工作负载与拓扑一致时比较，而不能把引擎名称当作固定性能等级。
参考资料
在真实基准中理解这一概念
AMD MI355X Kimi K2.5 推理：vLLM 25 天内吞吐量提升 7.7 倍、交互性最高提升 15 倍
vLLM PR #35850 修复了 MI355X CDNA4 上的 AITER MLA 分发路径，解锁 TP=8 下的 Kimi K2.5 推理性能，随 vLLM 0.18 一同发布
GB200 NVL72 vs B200 Kimi K2.5 推理对比：宽 EP vLLM 带来 3.1 倍提升
NVL72 的机架级 NVLink 使 Dynamo vLLM 能够以最高 Decode EP 16 运行 Kimi K2.5 宽 EP，在 8k/1k NVFP4 下峰值吞吐量从 4,021 提升至 12,587 tok/s/GPU
B200 NVFP4 vs H100 FP8 运行 MiniMax-M2.5：vLLM 下每美元性能最高提升 8.2 倍
vLLM PR #36307 为 MiniMax 在 B200 上解锁了 trtllm-gen FP8 MoE 模块化内核；结合 NVFP4，在 8K/1K 负载下性能/成本从 22 tok/s/user 时的 4.0 倍扩大到 110 tok/s/user 时的 8.2 倍
B200 NVFP4 对比 H200 INT4 运行 Kimi K2.5/K2.6：性价比提升高达 2.95 倍
在 vLLM 8K/1K 工作负载下，B200 NVFP4 路径在 30–90 tok/s/user 推理区间内每百万 tokens 成本比 H200 INT4 低 2.71x–2.95x，比同一 B200 硬件上的 INT4 低 2.45x–2.74x。三个因素——B200 的 HBM 带宽、HBM 容量和 NVFP4 张量核心——可清晰分解该优势