推理服务
预填充
也称为 prefill、提示词处理、上下文编码
先用大白话
预填充就是模型先阅读并理解提示词，然后才开始写答案。
技术定义
预填充是推理的第一阶段：模型处理输入提示词并填充 KV 缓存，然后才开始生成。
工程细节
提示词 token 可以并行处理，形成大型矩阵运算，因此通常偏计算密集。预填充成本随输入长度增长，并显著影响首 token 时间。
为什么重要
预填充与解码的资源特征不同。两者共享工作节点时，大型提示词任务会打断解码批次，使流式延迟更不稳定。
如何在 InferenceX 中解读
分离式方案将预填充放在独立 GPU 池。阅读结果时应检查预填充 TP、GPU 数、输入长度，以及 KV 状态是否需要跨网络传输到解码池。
参考资料
在真实基准中理解这一概念
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
GB300 NVL72 vs GB200 NVL72 推理性能与性价比对比 — DeepSeek-V4-Pro 1.6T：吞吐量最高提升 2.83 倍
DSv4-Pro FP4 8K/1K，Dynamo+vLLM，两套机架均采用分离式部署。GB300 多出 50% 的 HBM（每 GPU 288 GB vs 192 GB）解锁了 GB200 无法容纳的更宽预填充+解码配方——尽管单 GPU TCO 溢价 20%，曲线中段性价比仍提升 2.31 倍。
GB200 NVL72 vs B200 Kimi K2.5 推理对比：宽 EP vLLM 带来 3.1 倍提升
NVL72 的机架级 NVLink 使 Dynamo vLLM 能够以最高 Decode EP 16 运行 Kimi K2.5 宽 EP，在 8k/1k NVFP4 下峰值吞吐量从 4,021 提升至 12,587 tok/s/GPU