推理服务
AI 推理
也称为 AI inference、LLM 推理、模型服务
先用大白话
把提示词、图片或音频交给已经训练好的模型，它会利用学到的知识给出答案。
技术定义
AI 推理是使用已经训练好的模型处理新输入并生成输出的过程；对大语言模型而言，通常就是处理提示词并生成 token。
工程细节
训练阶段会更新模型权重，推理阶段则使用这些权重。生产系统还需要推理引擎负责调度请求、管理内存、合并批次，并在一个或多个加速器上执行内核。相同模型在不同软硬件栈上的表现可能相差数倍。
为什么重要
推理既是模型问题，也是系统问题。用户体验取决于延迟和交互性，运营成本则取决于吞吐量、利用率、功耗与硬件成本；只优化其中一个维度，往往会牺牲另一个维度。
如何在 InferenceX 中解读
InferenceX 测试完整的推理方案，因为芯片峰值规格无法代表实际服务性能。每条曲线都对应明确的模型、引擎、精度、并行策略、GPU 系统、序列长度和并发扫描。
参考资料