DeepSeek 开源生产推理栈 DeepInfer，单集群日处理 155 万亿 token
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，覆盖 NVIDIA 与华为昇腾平台。
推荐理由：原文把吞吐、缓存命中与单卡收入放在一起，读者可据此判断缓存型推理服务的成本结构。
#DeepSeek
Latent Space精选AI 评分8585
Latent SpaceAI 评分6060 AINews 汇总：DeepSeek V4.1 Flash 等新模型发布与行业动态
Latent Space 的 AINews 汇总了 10 月 16 日至 19 日的 AI 动态，DeepSeek V4.1 Flash 1017 以 552B 总参数、16B 激活的 MoE 架构和 1M token 上下文窗口发布，采用 MIT 许可，定价维持每百万输入/输出 token 0.30/1.20 美元。