读懂推理曲线背后的语言。

并发量就是系统同一时间正在服务多少个人或请求。

等交互性就是让不同系统以相同速度向用户显示文字，再比较背后的硬件效率。

交互性表示模型开始回答后，单个用户看到新文字出现得有多快。

它估算 AI 读取和生成一百万个 token 需要支付多少基础设施成本。

每美元性能表示每投入一美元运行系统，能够获得多少有效 AI 输出。

TPOT 是流式回答每个新片段之间的间隔；间隔越短，回答看起来越快越顺畅。

该指标衡量数据中心在固定电力额度下能产出多少 AI token。

TTFT 就是发送提示词后，到看到答案第一个片段前的“思考中……”时间。

输入长度是模型要读多少内容，输出长度是模型要写多少内容；8K/1K 表示长提示词配较短回答。

吞吐量就是整个系统每秒一共能完成多少工作。

延迟就是需要等待多久；流式回答既有开始前的等待，也有后续文字之间的停顿。

TCO 包含硬件采购，以及后续供电、制冷、网络和运维成本。

Pareto 前沿是一条“最佳权衡线”：线上的每个点都值得考虑，因为改善一项指标就必须牺牲另一项。

MTP 让模型一次猜测多个后续 token 并一起验证，从而减少缓慢的逐 token 步骤。

分离式推理把“读提示词”和“写答案”交给两组 GPU，让每组都能针对自己的任务优化。

解码就是模型读完提示词后，一个 token 接一个 token 地写出答案。

批处理就像让多名乘客坐同一辆巴士：GPU 一次处理多个请求，让每趟计算完成更多有效工作。

前缀缓存会记住重复开头的处理结果，例如相同系统提示词，让模型下次可以跳过这部分工作。

推测解码让一个便宜的助手先起草多个 token，再由完整模型一次性审核，省去部分逐个生成步骤。

推理引擎就像 AI 服务背后的交通调度员：它安排请求流转，并让 GPU 在正确时间执行正确任务。

预填充就是模型先阅读并理解提示词，然后才开始写答案。

把提示词、图片或音频交给已经训练好的模型，它会利用学到的知识给出答案。

EAGLE 是一种为主模型起草多个可能后续 token 的方法，可让答案流式输出得更快。

KV 缓存是模型对当前对话的工作记忆，让它生成新 token 时不必每次从头重读。

宽专家并行把模型专家铺到大量 GPU 上，让每张 GPU 需要保存和移动的专家数据更少。

数据并行复制多份相同模型并分摊请求，就像多开几条相同的收银通道。

张量并行把一次大型计算拆给多张 GPU，让它们共同完成。

专家并行把模型中的不同“专家”分配给不同 GPU，再把每个 token 送到需要的专家。

All-reduce 让每张 GPU 完成一部分计算，再合并结果并把完整答案发回所有 GPU。

All-to-all 是一次有组织的交换：每张 GPU 都向其他每张 GPU 发送不同的数据包。

Scale-up 是同一套 GPU 系统内部的超高速网络，scale-out 则连接不同服务器或机架。

HBM 是紧挨 GPU 的一小池超高速内存，推理时模型权重和工作数据都要放在这里。

内存带宽就像向 GPU 计算单元供给数据的管道宽度；管道越宽，计算单元越不容易空等。

NVLink 是 NVIDIA GPU 之间的高速公路，让多张 GPU 的协作远快于普通服务器网络。

量化用更少 bit 保存模型数字，让模型更小、更容易搬运，通常会带来经过控制的精度损失。

FP4 只用 4 bit 表示模型数字，能让推理更小更快，但可保留的数值细节也更少。

FP8 用紧凑的 8 位格式保存和计算模型数字，可减少内存占用并经常加快推理。

MXFP4 让每小组 4 位数字拥有自己的缩放值，使极紧凑的数字仍保留足够可用范围。

NVFP4 是针对 NVIDIA Blackwell 优化的 4 位模型数学格式，目标是少搬数据并利用最快的低精度硬件。

MLA 会压缩模型对历史 token 的“笔记”，让长对话占用更少内存、继续生成的成本更低。

混合专家模型像一支大型专家团队：每个 token 只调用最合适的少数专家，无需每次动用全员。

稀疏注意力只回看长上下文中最有用的部分，无需重新检查每个历史 token。

CUDA 是让程序在 NVIDIA GPU 上运行的软件工具箱。

NVIDIA Dynamo 协调大量 GPU worker，负责路由请求、移动模型记忆，并把读提示词和写答案分配给合适的资源池。

ROCm 是让 AI 和高性能程序在 AMD GPU 上运行的软件工具箱。

SGLang 是用于快速服务语言模型的开源软件，提供面向复杂 AI 工作负载的调度和优化功能。

TensorRT-LLM 是 NVIDIA 为自家 GPU 优化的 LLM 推理软件栈。

vLLM 是开源软件，通过组织请求和 GPU 内存，让语言模型高效服务大量用户。