DeepSeek 现已全面开源其推理框架 DeepInfer 以及 Token 编解码组件 deepseek-recipe，该框架同时兼容英伟达与华为昇腾平台。基于这一框架，DeepSeek V4.1 Flash 在单集群中每日可处理高达 155 万亿 Token 的吞吐量，按照谷时电价计算，每张显卡每小时可产生 38 美元的收入。通过采用 Prefill 与 Decode 分离、KVCache 复用以及投机解码等技术手段，DeepSeek 致力于提升推理效率，并降低算力成本与能源消耗。
DeepSeek 进一步开放了其大模型推理基础设施。在开源大模型、TileLang 编译工具以及一系列推理算子库之后，DeepSeek 宣布全面开源其内部推理框架 DeepInfer，并同步推出 Token 编解码组件 deepseek-recipe，旨在协助开发者和企业优化大规模模型部署，减少 AI 服务的算力成本与能源消耗。
据 DeepSeek 介绍，基于 DeepInfer，其团队已成功实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。目前，单一集群的服务吞吐量已达到每天 155 万亿 Token，按谷时电价计算，每张显卡每小时收入为 38 美元。
推理框架作为连接大模型能力与终端用户的关键基础设施，随着 AI 应用调用量的增长，其服务成本不仅受模型本身影响，还牵涉到计算、通信、任务调度及缓存管理等环节。如何在满足延迟要求的同时提高有效吞吐，已成为大规模 AI 服务降本增效的核心课题。
兼容英伟达与华为昇腾，针对不同推理阶段优化算力配置
DeepInfer 集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay 以及结构化输出等功能，可在英伟达与华为昇腾平台上运行。未来，DeepSeek 新模型的推理代码及后续性能优化也将持续在该框架中开源。
面对大规模 AI 调用需求，DeepSeek 将推理系统的优化重点放在吞吐量与延迟上。该系统采用 Prefill 与 Decode 分离部署：前者负责处理输入提示词，后者负责逐步生成 Token。由于两个阶段的计算负载不同，分开部署可独立配置资源，从而分别优化首个 Token 生成时间和后续 Token 生成间隔。
在硬件组织方面，DeepSeek 使用常见的 8 卡机器承担 Prefill 任务，并采用 64 至 128 卡超节点承担 Decode 任务。同时，系统通过自动扩缩容动态调整两个阶段的实例比例，以减少流量变化导致的资源错配；在 MoE 模型推理中，则通过专家并行与动态负载均衡，降低不同计算卡之间的负载差异。
KVCache 最长保留 7 天，减少重复计算开销
缓存复用是 DeepSeek 降低推理成本的另一项关键设计。随着长上下文对话和 AI Agent 应用的增多，相同前缀可能在不同请求中反复出现。如果每次都重新处理这些内容，就会产生额外的计算开销。
DeepSeek V4.1 Flash 将 KVCache 分为 Block KVCache 和 SWA KVCache 两部分，并采用不同的存储策略。其中，Block KVCache 存储在独立的 3FS 分布式文件系统中，相关存储容量约为 100 PiB。根据 DeepSeek 披露的数据，Agent 流量的 KVCache 保留时间达到 3 天，而聊天机器人流量则达到 7 天。
当后续请求命中已有缓存时，系统可以复用此前的计算结果，减少重复的 Prefill 计算。DeepSeek 披露，3FS 存储集群的峰值聚合读取带宽达到 10 TiB/s，峰值聚合写入带宽约为 850 GiB/s，以满足大规模缓存读写需求。
对于主要在活跃会话内短期复用的 SWA KVCache，DeepSeek 则选择保留在机器内存中，不进行持久化存储。线上数据显示，这部分缓存的保留时间约为 180 秒，命中率超过 98%。针对 SWA KVCache 未命中的情况，DeepSeek 采用 SWA Bounded Replay 机制，仅重算最近 128 个 Token，并将注意力窗口限制在重算区间内，以降低缓存缺失带来的额外计算成本。
投机解码提升吞吐，编解码组件同步开源
除缓存复用外，DeepSeek 还通过投机解码和异步调度提高推理效率。DeepSeek 采用 DSpark 投机解码框架，根据候选 Token 的预期接受概率动态决定验证范围，避免将验证算力浪费在低接受概率的候选结果上。DeepSeek 披露，在线部署中，与固定验证 5 个 Token 的方式相比，变长验证使吞吐提升 6%。
在调度环节，系统通过 CPU 与 GPU 之间的异步协作，让请求调度、前向计算和采样等操作尽可能重叠，减少设备等待时间。此外，DeepInfer 支持结构化输出，可依据 JSON Schema、正则表达式等约束控制模型生成结果，满足特定应用对输出格式的要求。
DeepSeek 还同步开源了生产级 Token 编解码组件 deepseek-recipe。该组件支持 Chat Completions API、Responses API 和 Messages API 等主流接口，并通过特殊 Token 边界识别、普通文本分段并行编码及流式输出解析等机制，提升长文本处理效率，确保第三方部署的 API 处理逻辑与官方服务保持一致。
不过，DeepSeek 并未开放推理系统的全部组件。由于 KVCache 管理和负载均衡部分与内部基础设施耦合较深，相关代码目前尚未完整开源。从模型、算子库到大规模推理框架，DeepSeek 此次进一步扩展了开源技术栈的覆盖范围。对于开发者和企业而言，这有望降低构建私有化及公有云 AI 服务的技术门槛；对于大模型行业而言，如何提高推理吞吐、复用计算结果并适配不同硬件平台，也正成为控制 AI 服务成本的重要方向。本文来自“华尔街见闻”，作者：卜淑情，36氪经授权发布。更多关于推理框架的细节，可访问九游体育 (中国)官方网站-九游体育 (中国)官方网站获取最新动态。