07 INFRA
❯ DeepSeek 开源 DeepInfer,公开 V4.1-Flash 大规模推理的核心引擎
把线上服务经验交给开发者DeepSeek 于 10 月 20 日开源 DeepInfer,用于让训练好的模型高效响应请求。此次公开版本支持 DeepSeek V4.1-Flash,兼容英伟达与华为昇腾平台,采用 Apache 2.0 许可证,包含分布式推理、推测解码、异步调度和结构化输出等核心能力。
减少重复计算和硬件等待DeepSeek 的部署说明介绍,系统把读取输入和逐步生成输出分开调度,并长期保存可复用的上下文计算结果,以提高吞吐、降低响应延迟。公司披露,生产环境单集群日处理约 155 万亿 Token,按谷时定价计算,每 GPU 小时收入约 38 美元。
开源范围有清楚边界公开仓库尚未完整包含与内部基础设施紧密耦合的缓存管理和负载均衡代码,开发者仍需补齐线上服务组件。同时开放的 deepseek-recipe负责 API 请求格式、Token 编码和输出解析,使用的是 MIT 许可证。
收入指标揭示优化方向每 GPU 小时收入反映单位算力承接业务的能力,不能直接换算成公司毛利率。训练、网络、存储、人力和服务冗余等成本没有在这个数字中完整体现。对自建服务的团队,更可直接利用的是公开的调度方法和代码,再按自身请求结构、延迟目标与硬件测算成本。
▮ SIGNAL开放推理引擎让第三方有机会复用模型公司的系统优化,模型部署的经济性也更取决于缓存、调度和实际请求结构。