❯ DeepSeek 开源 DeepInfer，向开发者开放推理框架与部署经验

开放模型运行的关键一层DeepSeek 10 月 20 日开源内部推理框架 DeepInfer，首批支持 DeepSeek-V4.1-Flash。官方代码仓库显示，项目采用 Apache 2.0 许可，支持 NVIDIA SM100 GPU 和华为昇腾 950。推理就是训练完成的模型接受请求、生成答案的过程，框架负责让这项工作更高效。

更少等待与重复计算此次开放内容包括优化计算算子、异步调度和推测解码等。推测解码先提出若干候选词元，再交给主模型核验，减少逐个生成的等待；异步调度则让任务安排与芯片计算重叠进行。这些工程优化直接影响服务吞吐量、响应速度和单位请求的计算消耗。

可复用引擎需要配套服务仓库提供离线推理和大规模服务所需的核心功能，但完整在线服务还需要缓存系统、不同计算阶段的分离部署和多副本负载均衡等组件。开发者由此获得更接近原厂实现的优化基础，再根据自身集群补齐服务层，减少独立摸索和重复开发。

▮ SIGNAL开放权重解决了模型能否取得的问题，推理工程的开放进一步降低把模型持续提供给用户的门槛。