预计阅读 39 分钟
TPU 推理外部化全速推进
InferenceX、最高 50% 的每美元性能优势、TPU 软件栈的快速外部化、不断扩大的客户群、Ironwood、TPUv8i，以及正在收窄的 CUDA 护城河
- benchmark
- inference
- tpu
- +7
InferenceX 研究
文章
关于智能体推理、AgentX 结果、芯片与推理框架经济性的基准测试文章。
不熟悉相关概念？ 浏览 AI 推理术语表。
标签：qwen
4 篇文章
预计阅读 2 分钟
Qwen3.5 397B 的 AgentX 结果：B300 FP4 的每美元性能是 H100 的 12 倍
在长上下文 agentic 工作负载上，四年硬件迭代加上 4 位格式能换来什么
- agentx
- agentic
- benchmark
- +9
预计阅读 2 分钟
MI355X 对比 GB300 NVL72 推理性能：Qwen3.5 SGLang 上 20 倍差距
GatedDeltaNet、262k 原生上下文，以及同一引擎上 AMD 完全缺席的竞争
- agentx
- agentic
- benchmark
- +6
预计阅读 7 分钟
AMD MI355X Qwen3.5 397B-A17B 推理：SGLang FP8 三个月内每 GPU 吞吐量提升最高 19 倍
从 v0.5.8（2 月）→ v0.5.10rc0（4 月）→ v0.5.12（5 月），三次 AITER 内核合入 MI355X 加上从 TP=8 到 TP=2/TP=4 的重新调优，将 Qwen3.5 8k/1k 峰值从 1.3k 推高至 6.4k tok/s/GPU，并将曲线延伸至 75 tok/s/user
- benchmark
- gpu
- inference
- +5