❯ SemiAnalysis 披露 NVIDIA 新测试：700B 以上模型每用户超过千 token/s

超大模型的交互速度SemiAnalysis 于 11 月 1 日披露，NVIDIA 的新 AgentX 提交显示，使用高带宽内存（HBM）的系统可让 700B 以上参数规模的模型达到每用户超过 1,000 token/s 的生成速度，相关软件由智能体群参与编写。这是特定推理测试中的生成速率，完整任务还包含读取上下文和调用工具等耗时，见其原始披露。

速度与单位成本一起比较同一披露称，在每用户 325 token/s 的目标速度下，Rubin NVL72 的单位总拥有成本性能为 GB300 NVL72 的 20.9 倍；在 200 token/s 下为 9.11 倍。这两组比较使用不同的服务速度目标，分别对应各自测试配置。AgentX 用多轮编程智能体工作负载评估推理基础设施，兼顾交互速度与可服务的任务量。

把更多缓存连起来SemiAnalysis 的后续说明称，该提交使用 Mooncake Store 的扩展 GPU 内存功能，通过 NVLink 共享 Vera 系统内存中的 KV 缓存，覆盖 18 个计算托盘，相比此前使用 RDMA 的方式带宽提高超过 10 倍。KV 缓存保存已处理上下文的中间结果，减少长对话和多轮任务中的重复计算。

提速来自整个系统超大模型的服务成本同时受计算、内存容量、数据传输和推理软件影响。更快地共享上下文缓存，可以减少等待数据的时间；若能在更多真实工作负载中保持优势，同一套基础设施就有机会以更短延迟服务更多智能体。

▮ SIGNAL长上下文智能体的推理竞争，越来越取决于缓存如何跨内存和计算节点流动。