❯ 英伟达优化 Kimi K3 推理，特定 GB300 测试下解码速度达到原来的 1.73 倍

同一测试配置下更快英伟达工程师在 vLLM 技术文章中披露，Kimi K3 在 16 张 GB300、单批次和特定 DSpark 推测解码设置下，生成速度由每秒 488 个 token 提升至 842 个，为原来的 1.73 倍。该数字只计算解码阶段，不包含读取输入的预填充时间，使用的接受长度也是受控测试条件。

少搬数据，少启动小任务优化采用 CuTe DSL 编写专用 GPU 内核，把原先分散的小计算步骤合并，并让计算和跨芯片通信尽量同时进行。模型逐个生成 token 时，频繁启动任务和等待数据都会拖慢响应；减少这些开销，可以在不更换模型权重的情况下提高推理效率。

开源模型需要持续适配vLLM 对 Kimi K3 的支持说明介绍了其注意力结构、专家模型和推测解码等适配工作。此次进一步优化限定了支持的硬件、并行方式和批次范围，并保留必要的生产功能。工程团队还强调数值正确性、长上下文和真实工作负载测试，避免只为跑分牺牲模型输出质量。

响应速度不等于整项任务速度单用户生成更快，有助于缩短智能体连续写代码时的等待，但真实任务还包括读取长文、调用工具和多轮交互。文章中的另一项 AgentX 对比使用了不同 GPU 数量，不能与同硬件倍率混用。部署团队需要按自己的并发、上下文和硬件组合判断收益，而不能把单点结果套到所有服务。

▮ SIGNAL现有芯片仍有可观的软件优化空间，但能进入生产环境的提速，必须同时说明硬件条件、工作负载和正确性边界。