DeepSeek开源DeepInfer推理栈，部分组件未放出

DeepSeek 开源了生产推理框架 DeepInfer，即 V4.1 Flash 背后的推理引擎。DeepSeek 称其单集群日处理 155 万亿 token、输入缓存命中率 96%、每加速器小时收入 38 美元。 DeepInfer 基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 与结构化输出，覆盖 NVIDIA 和华为昇腾平台；当前面向 NVIDIA SM100 GPU 与华为昇腾 950 NPU，需 Linux/Python 3.12 及 CUDA 13 或 CANN 9.2。 DeepSeek 称 DeepInfer 完全开源，但技术说明称 KV 缓存管理和负载均衡组件因仍与内部基础设施耦合而尚未完全放出；完整在线服务还需外部的 KV 缓存管理、prefill/decode 分离和 DP 副本负载均衡。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。