04 MODEL
❯ 英伟达发布开放模型 Nemotron 3.5 Super VL,单卡跑代理任务的吞吐最高是同级模型的 5 倍
一个模型看图也看字英伟达 10 月 15 日发布 Nemotron 3.5 Super VL,一个可定制的开放多模态模型。它采用混合专家架构,总参数 1200 亿,每个 token 激活 120 亿,把推理、工具调用和文本、图片、文档、视频理解放进一个模型,企业不必再分别部署文字模型和视觉模型。
单卡吞吐高 5 倍英伟达称,在单块 GPU 上,它跑代理任务的吞吐最高是同级别其他开放模型的 5 倍。Scale AI、Ramp 和 AI21 等公司已经用自己的数据对它做了后训练,英伟达列举的效果包括推理成本降低 40 倍、延迟降低 10 倍、准确率提高 40%,这些数字均为英伟达自述。
卖芯片的人也做模型开发者可以用英伟达的 NeMo 工具链和 Hugging Face 上的开放数据集继续训练,模型也针对 DGX Spark 等英伟达平台做了推理优化。同一天,Meta 发布了更大的 Muse Spark Open。对企业来说,开放模型的选择变多了,而英伟达的做法是把模型和自家硬件、软件绑在一起,让客户在它的平台上完成定制。
▮ SIGNAL英伟达自己做开放模型,卖的其实是“在我的芯片上最快”的定制路径,模型成了推销算力平台的工具。