读懂推理曲线背后的语言。

并发量就是系统同一时间正在服务多少个人或请求。

一套测试配置就是产生某条曲线的全部选择：模型、引擎、镜像、精度、并行策略和工作负载。

等交互性就是让不同系统以相同速度向用户显示文字，再比较背后的硬件效率。

这个指标衡量一整条回答到达得有多快，既算首 token 之前的等待，也算之后的流式速度。

端到端延迟是从提交模型请求到收完完整答案的时间，包含开始输出前的等待。

当运算单元是瓶颈时工作负载是计算受限，当等待数据搬运是瓶颈时则是访存受限。

非官方运行是尚未入库到已发布数据集的基准运行，但仍可通过 URL 叠加绘制在图表上。

SLO 是一套部署必须兑现的性能承诺，例如十条请求中有九条要在一秒内返回首 token。

交互性表示模型开始回答后，单个用户看到新文字出现得有多快。

接受长度是指每次验证中完整模型实际认可的草稿 token 数，它决定了投机解码是否划算。

可计费利用率表示在估算期间，有多少建模服务容量实际用于付费流量。

每 token 能耗表示系统产出一个 token 要花多少电，是每 token 成本在电力侧的对应指标。

它估算 AI 读取和生成一百万个 token 需要支付多少基础设施成本。

该估算从一吉瓦市电容量对应的年度 token 收入中，扣除建模服务成本和适用的模型许可费。

这项估算计算在固定一吉瓦数据中心市电容量下，一年的 token 销售可能带来多少收入。

每美元 token 数表示按图表注明的成本口径，每投入 1 美元基础设施开支可以产出多少 token。

每美元性能表示每投入一美元运行系统，能够获得多少有效 AI 输出。

TPOT 是流式回答每个新片段之间的间隔；间隔越短，回答看起来越快越顺畅。

该指标衡量数据中心在固定电力额度下能产出多少 AI token。

MFU 把模型实际完成的有效运算与芯片理论峰值运算量相除，得到一个效率百分比。

内部 TCO 是芯片设计方自己运行它的成本，外部 TCO 是客户购买或租用它付出的成本，两者可能相差很大。

TTFT 就是发送提示词后，到看到答案第一个片段前的“思考中……”时间。

输入长度是模型要读多少内容，输出长度是模型要写多少内容；8K/1K 表示长提示词配较短回答。

算术强度表示每搬运一个字节能做多少次运算，它决定瓶颈落在计算单元还是显存上。

吞吐量就是整个系统每秒一共能完成多少工作。

尾部延迟描述的是最慢的那部分请求，而不是典型请求，因为用户真正会注意到的正是这些。

延迟就是需要等待多久；流式回答既有开始前的等待，也有后续文字之间的停顿。

TCO 包含硬件采购，以及后续供电、制冷、网络和运维成本。

apples-to-apples 对比把精度、服务模式和负载保持一致，结果差异才能归因于硬件本身。

Goodput 只统计满足延迟目标的那部分工作量，看起来很快但赶不上截止时间的系统拿不到任何分数。

GPU 利用率衡量加速器有多忙，但监控工具里常见的百分比可能很高，而真实效率仍然很低。

P90 交互性把较慢尾部的 token 间隔换算成输出速率，数值越高，流式输出越快。

Pareto 前沿是一条“最佳权衡线”：线上的每个点都值得考虑，因为改善一项指标就必须牺牲另一项。

在 InferenceX 上，roofline 是按硬件配置在其最优点上画出的外包络线，用来展示它达到过的边界。

性能采集开始前先做一轮预热，让系统进入稳态，而不是在缓存为空的状态下被打分。

参数 offloading 把已学习的模型数据放到加速器显存之外，只获取计算需要的部分。

草稿模型是投机解码中那个又小又快的模型，先猜出若干后续 token，交给大模型一次性验证。

MTP 让模型一次猜测多个后续 token 并一起验证，从而减少缓慢的逐 token 步骤。

分块 prefill 把长提示词分片读取，而不是一次性读完，这样其他用户在此期间仍能持续收到 token。

分离式推理把“读提示词”和“写答案”交给两组芯片，让每组都能针对自己的任务优化。

热数据行访问频繁或最近被访问，把它留在较快层级可能省去重复检索。

缓存输入 token 是提示词中可以复用先前处理结果的部分，能减少再次读取同一内容的工作。

混合模型 prefix caching 让同时包含注意力层和线性注意力层的模型能复用缓存的 prompt，方法是把循环状态与 KV block 一起保存。

解码就是模型读完提示词后，一个 token 接一个 token 地写出答案。

聚合服务把 prefill 和 decode 放在同一组芯片上运行，是引擎加入 prefill-decode 分离之前的默认部署形态。

离线推理处理一大堆没有用户在等的请求，唯一目标是每美元最多 token，而不是延迟。

连续批处理让新请求在旧请求完成的瞬间就加入正在运行的批次，而不是等整个批次全部结束。

批处理就像让多名乘客坐同一辆巴士：芯片一次处理多个请求，让每趟计算完成更多有效工作。

前缀缓存会记住重复开头的处理结果，例如相同系统提示词，让模型下次可以跳过这部分工作。

命中率是指提示词中有多少 token 直接来自缓存而无需重算，在长会话中这通常是绝大部分。

投机解码先让成本较低的辅助模块提前生成多个 token，再交给完整模型一次性验证，从而减少逐个生成的步骤。

推理引擎就像 AI 服务背后的交通调度员：它安排请求流转，并让芯片在正确时间执行正确任务。

预填充就是模型先阅读并理解提示词，然后才开始写答案。

长上下文指模型一次要处理非常大量的对话、代码或文档，此时压力主要落在内存上，而不是原始算力上。

把提示词、图片或音频交给已经训练好的模型，它会利用学到的知识给出答案。

CPU offloading 把模型数据或可复用注意力状态放到主机 DRAM，释放显存，但增加主机访存成本。

EAGLE 是一种为主模型起草多个可能后续 token 的方法，可让答案流式输出得更快。

Embedding prefetch 在前面层仍在计算时，就开始取回后续层将要使用的行。

KV 感知路由把请求发给已经持有该会话状态的 worker，而不是发给当前最空闲的那个。

KV 缓存是模型对当前对话的工作记忆，让它生成新 token 时不必每次从头重读。

P2P 池化把多台服务器的主机内存合并成一个逻辑 KV cache 存储，任何服务器上的加速器都能从其他服务器拉取缓存的上下文。

把芯片放不下的注意力状态暂存到主机内存，长会话下一轮就能直接恢复，而不必整段重算。

NVMe offloading 将模型数据或注意力状态放到 SSD，以更昂贵的访问路径换取更便宜的容量。

PagedAttention 像虚拟内存分页一样，把 KV cache 存进固定大小的小块，避免缓存内存浪费在用不到的空间上。

RadixAttention 把完成请求的 KV cache 按 token 内容存进基数树，任何新请求都能复用最长匹配前缀。

ragged paged attention 是 TPU 的注意力 kernel，在一次启动中处理长度各异的一批请求，从分页 KV cache 读取数据。

在闭环基准测试中，每个模拟用户会等待当前步骤完成，再按照该会话的依赖关系发送下一步请求。

多轮会话会连续向模型发送相关请求，把之前的对话和工具结果带入后续提示词。

轨迹回放重现已记录会话的请求大小、先后关系与时间间隔，让基准测试按照原始工作负载的节奏发送请求。

编码智能体读取代码仓库、修改代码并运行工具，随后继续请求模型，直到完成任务；这一连串请求就是智能体编码工作负载。

智能体会通过多次模型请求完成一项任务，期间可能调用工具、保留会话状态，也可能把部分工作交给 subagent。

子智能体由主 agent 启动，负责同一任务中的较小部分，并可能与其他工作同时运行。

智能体同时启动多个短时运行的子任务，会突然增加请求量和服务器需要保存的新上下文。

AgentX 是 InferenceX 用来测试完整长上下文、多轮编码智能体会话的工作负载。

AIPerf 是发送基准流量的厂商中立客户端，负责重建录制的 agent 会话并记录每条请求的时序。

宽专家并行把模型专家铺到大量芯片上，让每张芯片需要保存和移动的专家数据更少。

流水线并行让每颗芯片负责一部分层，沿链条传递激活值，而不是把每一层都切开。

上下文并行把一条长提示词拆到多颗芯片上，让它们分担读取提示词和扫描注意力状态的工作。

数据并行复制多份相同模型并分摊请求，就像多开几条相同的收银通道。

DP attention 让每个 rank 处理各自的一批序列并持有自己的缓存，而不是每个 rank 都存同一份副本。

序列并行把一条长序列切分到多颗芯片上，让一个请求的 token 由多个加速器同时处理。

张量并行把一次大型计算拆给多张芯片，让它们共同完成。

专家并行把模型中的不同“专家”分配给不同芯片，再把每个 token 送到需要的专家。

All-gather 是一种群体通信操作，结束时每颗芯片都拿到最初分散在所有芯片上的完整数据。

All-reduce 让每张芯片完成一部分计算，再合并结果并把完整答案发回所有芯片。

All-to-all 是一次有组织的交换：每张芯片都向其他每张芯片发送不同的数据包。

KV head 复制在模型的 KV head 数量少于所切分的设备数量时，把相同的 key-value head 复制到多个张量并行 rank 上。

Reduce-scatter 把每颗芯片上对应位置的数据求和，然后让每颗芯片只保留合并结果中属于自己的那一片。

Scale-up 是同一套芯片系统内部的超高速网络，scale-out 则连接不同服务器或机架。

PUE 衡量数据中心每向内部计算设备输送一瓦电，总共要消耗多少瓦。

HBM 是紧挨芯片的一小池超高速内存，推理时模型权重和工作数据都要放在这里。

固定页主机内存驻留在 RAM 中，为设备提供稳定的主机内存分配。

光电路交换机用微小的反射镜在光纤之间改变光路，让 Google 不碰一根线缆就能重新布线 TPU pod。

协同设计把相互依赖的系统组件一起开发，减少其他环节的瓶颈对局部性能提升的抵消。

内存带宽就像向芯片计算单元供给数据的管道宽度；管道越宽，计算单元越不容易空等。

TDP 是芯片设计上可持续消耗并以热量形式散发的功率，是每份加速器规格表上的标题瓦数。

市电功率预算是整个数据中心可用的供电容量，包含为服务器供电和制冷的配套设备。

RDMA 让一台机器直接通过网络读写另一台机器的内存，两边的 CPU 都不用参与数据拷贝。

Boardfly 是 Google 推理专用 TPU 8i 的新型扁平网络，芯片间跳数比 torus 大约减半。

Die-to-die 链路连接同一封装内的两个计算 die，速度快于芯片之间的网络，但两个 die 不共享内存空间。

ICI 是 TPU 专用的网络，让整个 pod 内的芯片直接交换数据，不需要经过主机 CPU。

InfiniBand 是连接 AI 集群中各台服务器的高速低延迟网络，承担 NVLink 够不到的跨节点流量。

MegaCore 是 TPU v4 和 v5p 的设计，把两个物理核心融合成一个共享同一内存空间的逻辑加速器。

MXU 是 TPU 内部做矩阵运算的乘加单元网格，只有每个单元都有真实计算时才能跑满。

NVL72 是一个机架，其中 72 个加速器共享同一张高速网络，因而更像一台大机器而不是一个集群。

NVLink 是 NVIDIA 芯片之间的高速公路，让多张芯片的协作远快于普通服务器网络。

SparseCore 是 TPU 芯片上的辅助核心，负责 gather、数据搬运等不规则任务，让矩阵单元专心做乘法。

Systolic 阵列是由大量乘加单元组成的网格，数据像脉搏一样在单元之间逐格传递，矩阵乘法中途不需要访问内存。

TensorCore 是 TPU 芯片里的主计算模块，包含矩阵单元、向量单元和片上存储，负责模型的稠密计算。

tile 补齐指矩阵维度小于硬件 tile 时用零填满所浪费的计算。

torus 是一种边缘首尾相连的网格网络，最远的芯片也不会超过网格的一半距离。

Superpod 是接入同一个 ICI 网络的最大 TPU 单元，Ironwood 最多 9,216 颗芯片，可以当作一台机器使用。

TPU 是 Google 为自家 AI 负载设计的加速器，现在也开始对外出售或出租，用于其他公司的推理服务。

Ironwood 是第七代 TPU，也是 Google 第一款卖给其他公司、让它们跑自己推理业务的 TPU。

Twisted torus 是把 wraparound 链路错位连接的 torus 网络，像莫比乌斯带一样，进一步减少芯片之间的平均跳数。

UALink 是机柜内加速器之间高速 scale-up 链路的开放行业标准，是生态对 NVLink 的回应。

Vera Rubin 是 NVIDIA 的平台，组合 Rubin GPU、Vera CPU 及配套的互连与网络组件。

VMEM 是 TPU kernel 直接读写的片上高速暂存区，kernel 占用多少 VMEM 决定了它能提前预取多远。

VPU 是 TPU 中负责逐元素计算的部件，处理激活函数、softmax 和状态更新等，与矩阵单元协同工作。

仅权重量化只把存储的模型权重压到低精度，运算本身仍在较高精度格式下进行。

块缩放给每一小组低精度数值配一个共享缩放因子，找回超小格式自身缺失的动态范围。

量化用更少 bit 保存模型数字，让模型更小、更容易搬运，通常会带来经过控制的精度损失。

BF16 是多数模型训练所用的 16 位格式，用它做推理也是量化方案精度对照的基准。

FP4 只用 4 bit 表示模型数字，能让推理更小更快，但可保留的数值细节也更少。

FP8 用紧凑的 8 位格式保存和计算模型数字，可减少内存占用并经常加快推理。

INT4 用 4 位整数存放权重，把模型压小，让缺少原生 4 位浮点支持的硬件每个 token 少搬很多数据。

INT8 用 8 位整数加缩放因子存储数值，内存相比 16 位格式减半，支持的硬件上算力翻倍。

把对话缓存用更小的格式存放，让芯片装下更多上下文，并在生成时更快地把它读回来。

MXFP4 让每小组 4 位数字拥有自己的缩放值，使极紧凑的数字仍保留足够可用范围。

NVFP4 是针对 NVIDIA Blackwell 优化的 4 位模型数学格式，目标是少搬数据并利用最快的低精度硬件。

稠密模型对处理的每个 token 都动用全部参数，不像稀疏模型那样把 token 路由给少数专家。

MLA 会压缩模型对历史 token 的“笔记”，让长对话占用更少内存、继续生成的成本更低。

分组查询注意力让多个查询头共享一组键值头，在几乎不损失质量的情况下缩小 KV cache。

滑动窗口注意力让某些层只看最近一段 token，因此窗口填满之后它的缓存就不再继续增长。

混合模型在不同层使用不同的注意力类型，因此它的缓存是几种不同状态，而不是一块统一的数据。

混合专家模型像一支大型专家团队：每个 token 只调用最合适的少数专家，无需每次动用全员。

激活参数是混合专家模型处理每个 token 时实际用到的权重，只占其庞大总规模的一小部分。

上下文窗口是模型一次能处理的最大 token 数，涵盖输入和到目前为止生成的全部内容。

Gate 根据模型当前上下文，控制取回的记忆特征贡献多少。

条件记忆根据输入选择相应条目，仅提供本次计算需要的已学习信息。

推理时消融禁用已训练模型的一部分，用来测量模型对该部分的依赖。

稀疏查表只读取选中的少量 embedding 行，不读取整张参数表。

稀疏注意力只回看长上下文中最有用的部分，无需重新检查每个历史 token。

线性注意力保存一份固定大小的运行摘要，而不是全部历史 token，因此内存不会随对话增长。

循环状态是线性注意力或 SSM 层为每个请求保存的固定大小内存，不像 KV cache 那样随每个 token 增长。

Embedding 表按行保存已学习向量，模型根据输入产生的标识符检索对应行。

Engram 直接检索重复 token 模式对应的已学习向量，减少模型逐层重建这些模式的工作。

Gated DeltaNet 是一种线性注意力层，为每个请求保留固定大小的运行状态，而不是随 token 增长的 KV cache。

N-gram embedding 为一小段 token 序列提供可直接查表获取的已学习向量。

Reasoning 模型在回答前生成很长的隐藏思维链，用额外的输出 token 换取困难问题上更好的结果。

Teacher forcing 提供参考 token 历史，让不同模型版本在同一续写序列上评分。

Tokenization 把文本切分成模型实际读写的子词单元，所有性能和价格数字都以它计价。

函数化把原地修改对象的代码改写成以状态为输入、返回新状态的代码，这样编译器才能追踪它。

内存映射文件通过内存地址暴露文件内容，由操作系统管理哪些页面驻留。

三缓冲同时让三个数据块在途，一个在计算、两个在读取，让计算单元几乎不用等待内存。

双缓冲在芯片还在计算当前数据块时就预取下一块，把内存延迟藏在有效计算之后。

UVA 让支持的主机与设备内存分配共享虚拟地址空间，供 GPU 代码访问。

文件系统页缓存把近期访问的文件数据留在 RAM 中，让后续读取可以避开存储设备。

AITER 是 AMD 调优过的 kernel 库，决定注意力和矩阵运算在 Instinct 芯片上究竟能跑多快。

ATOM 是 AMD 自研的推理引擎，是它在厂商专用运行时这条路线上的答案，而非上游开源引擎。

CUDA 是让程序在 NVIDIA 芯片上运行的软件工具箱。

CUDA graph 把一整串芯片操作录制一次并整体回放，从而免去逐个启动它们的开销。

CUTLASS 是 NVIDIA 的模板库，提供搭建接近硬件峰值速度的矩阵乘法 kernel 所需的积木。

DSX MaxLPS 根据工作负载需求管理数据中心功率，以利用保守峰值供电规划下闲置的容量。

FlashAttention 在高速片上内存中分块计算精确注意力，避免生成那个让注意力又慢又耗内存的巨大中间矩阵。

FlashInfer 是一个注意力 kernel 库，服务引擎直接调用它，而不必自己实现注意力。

GEMM 即通用矩阵乘法，是训练和推理神经网络时占据绝大部分算术量的那一种计算。

grouped GEMM 在一次启动中执行多个小矩阵乘法，每个专家一个，让 MoE 层不必为每个专家单独付出开销。

JAX 是 Google 的 Python 数组计算框架，通过 XLA 编译函数，一直是编程 TPU 的原生方式。

Kernel 融合把多个小的芯片操作合并成一个，中间数据留在快速内存里而不是反复经过 HBM。

KV cache 管理器负责把注意力状态存放在芯片之外，并决定哪些保留、哪些淘汰、什么时候取回。

llm-d 是一个 Kubernetes 原生框架，在多节点上运行 vLLM，提供智能路由、前缀感知调度和 prefill 与 decode 分离。

Mooncake Store 把多台服务器的主机内存和 NVMe 盘汇聚成一个共享的 KV cache 存储，集群内任何加速器都能读取。

NCCL 是 NVIDIA 的集合通信库，在集合操作中负责芯片之间的数据搬运，RCCL 是 AMD 的对应实现。

NVIDIA Dynamo 协调大量芯片 worker，负责路由请求、移动模型记忆，并把读提示词和写答案分配给合适的资源池。

Pallas 是工程师在编译器调度不够好时，为 TPU 手写调优 kernel 的方式。

PJRT 是位于 JAX、TorchTPU 等框架与 TPU 硬件之间的运行时接口，负责管理设备内存缓冲区和执行。

PrivateUse1 是 PyTorch 允许厂商接入新设备类型的钩子，让张量可以像放在 CUDA 上一样放在 device="tpu" 上。

ROCm 是让 AI 和高性能程序在 AMD 芯片上运行的软件工具箱。

Sequence-on-lane 是一种 KV cache 布局，把一页 token 放在 128 宽的向量 lane 轴上而不是 head 维度上，减少浪费在 padding 上的内存。

SGLang 是用于快速服务语言模型的开源软件，提供面向复杂 AI 工作负载的调度和优化功能。

SGLang-JAX 是 SGLang 服务引擎面向 TPU 的 JAX 原生版本，独立于基于 PyTorch 的 SGLang 运行时。

shape 分桶把每个 batch 向上取整到少数几个预编译尺寸之一，编译器就不必为每种请求数重新构建程序。

集合通信卸载把 all-reduce 等通信操作放到 TPU 的 SparseCore 上运行而不是 TensorCore，但只在消息足够大、值得这么做时才卸载。

StableHLO 是一种标准化的中间表示，PyTorch、JAX 等框架把程序输出成这种格式，再由 XLA 编译器转成 TPU 机器码。

TensorRT-LLM 是 NVIDIA 为自家芯片优化的 LLM 推理软件栈。

TileRT 是面向极低延迟单用户生成的推理运行时，它把模型编译成一个常驻程序，而不是许多次内核启动。

torch.compile 是 PyTorch 的编译入口，把模型捕获成图交给编译器后端，而不是逐个执行每个操作。

TorchAX 通过把每个操作悄悄翻译成 JAX，让 PyTorch 模型代码能在 TPU 上运行，这种方式正被 TorchTPU 取代。

TorchTPU 让 TPU 表现为一个普通的 PyTorch 设备，vLLM 和 SGLang 可以直接在 Google 芯片上运行现有 PyTorch 代码。

TPU-Sync 是 Google 用来在 TPU 之间以及向主机内存搬运 KV cache 的库，是分离式服务和 offload 所需的底层管道。

Triton 是基于 Python 的加速器 kernel 编写语言，让 ML 工程师不写底层代码也能接近手工调优的速度。

vLLM 是开源软件，通过组织请求和芯片内存，让语言模型高效服务大量用户。

XLA 是把模型计算图编译成 TPU 机器码的编译器，决定每个操作如何切分、补齐、融合和调度。