DeepSeek把自家推理框架开源了，但线上服务缺的三块没给

DeepSeek把DeepInfer这套内部推理框架开源了，协议是Apache2.0。GitHub仓库10月16日建，两天多攒到4400多颗星，HackerNews上的帖子拿到227分。README第一句交代身份：这是支撑DeepSeek大规模生产服务的那套框架。

README末尾列了三样“本版不含”：一套KV cache系统、VE与预填及解码三段的拆分部署、以及预填充与解码两类副本之间的负载均衡。放出来的是离线推理，不是线上服务。第二项后跟了半句——引擎侧大部分功能已经实现，缺口不在核心，在把零散功能拼成在线服务的那层编排。

硬件支持两条线：NVIDIA的SM100芯片和华为昇腾950的NPU，构建环境对应CUDA13与CANN9.2，加速器平台用环境变量切换。模型只支持一个，DeepSeek-V4.1-Flash，默认权重指向10月17日那版。框架开源、模型权重另发，两者没绑成一个包。

特性清单里有两项值得拎出来。一项叫批次不变推理，同一个请求不管和谁混在同一批次里，输出都保持一致；另一项是确定性采样，输入token和采样参数固定，输出也固定。这两条对大厂推理服务不算刚需，对做评测、复现和审计的人是硬要求。开启会牺牲吞吐。

并行与调度这块，给了Attention的DP与均衡CP、MoE的EP加EPLB，还有DSpark配合置信度调度的投机解码，以及SWA有界重放——解码端预填充只重放末尾一段有界后缀，默认保留140个token。异步调度把CPU侧批处理与设备执行重叠起来，默认开启。

基准数字配了图，条件是预填充用4张SM100、解码用64张，都在同一个纵向扩展域内，复现脚本一起放了。致谢里写了来路：最初主要基于vLLM构建，另外参考了SGLang和TensorRT-LLM。这条赛道不缺框架，缺的是把生产环境那些确定性和一致性要求做成默认选项的框架。