多头潜在注意力
也称为 multi-head latent attention、MLA
先用大白话
MLA 会压缩模型对历史 token 的“笔记”，让长对话占用更少内存、继续生成的成本更低。
技术定义
多头潜在注意力把 attention key/value 状态压缩到更低维潜在表示，以减少 KV 缓存大小与内存流量。
工程细节
MLA 不为每个历史 token 存储完整的逐头 key/value，而是保存压缩状态，并通过模型专用投影重建或消费所需表示；实现需要专用注意力内核。
为什么重要
减少 KV 缓存字节可提高可用上下文长度和并发，并缓解解码带宽压力；内核形状支持与张量并行布局仍会造成巨大性能差异。
如何在 InferenceX 中解读
InferenceX 中多个 DeepSeek 衍生模型使用 MLA。文章会追踪某注意力后端在一种 heads-per-rank 形状高效、另一种形状失败或回退的修复。
参考资料
在真实基准中理解这一概念
AMD MI355X Kimi K2.5 推理：vLLM 25 天内吞吐量提升 7.7 倍、交互性最高提升 15 倍
vLLM PR #35850 修复了 MI355X CDNA4 上的 AITER MLA 分发路径，解锁 TP=8 下的 Kimi K2.5 推理性能，随 vLLM 0.18 一同发布
B200 NVFP4 对比 H200 FP8 运行 GLM-5：SGLang MTP 下性价比提升高达 3.65 倍
两款 GPU 均运行 SGLang EAGLE MTP；Blackwell 世代在峰值处带来约 1.2 倍的性价比提升，NVIDIA GLM-5-NVFP4 检查点搭配 FlashInfer TRT-LLM 稀疏 MLA 在 8K/1K 场景下再叠加约 2.4–3.0 倍优势
MI355X 上 DeepSeek-V4-Pro 搭配 SGLang：26 天内每 GPU 吞吐量提升 110.5 倍
amd/deepseek_v4 分支合入了 TileLang 注意力索引器、Triton 稀疏 MLA、融合 RoPE/Hadamard、FlyDSL MoE 以及 FP4 权重，历经 31 个性能优化 PR——将首次点亮时 20 tok/s/GPU、2.4 tok/s/user 的水平提升至 8K/1K 负载下 2,256 tok/s/GPU、9.4 tok/s/user，吞吐量与交互性同步攀升
SGLang 0.5.6 在 B200 DeepSeek R1 FP4 上的表现：低并发下最高提升 1.8 倍
针对 DeepSeek V3 的分段 CUDA graph、统一事件循环和 JIT 内核将 8k/1k 吞吐量从 508 提升至 907 tok/s/GPU，使用相同的 16 GPU B200 资源池