DeepSeek 開源 DeepInfer 的消息，在 10 月 20 日當天就讓這個 GitHub 專案累積超過 1.2 萬顆星，並在 Hacker News 衝上 2,000 多點。DeepInfer 是 DeepSeek 自家正式服務背後使用的大規模推論框架，採用 Apache 2.0 授權，目前支援 DeepSeek-V4.1-Flash，並同時支援 NVIDIA Blackwell 與華為昇騰 950。這是 DeepSeek 繼 2025 年 4 月未能釋出完整推論引擎之後，首次把正式環境的推論程式碼攤開在外界面前。
DeepInfer 是什麼：DeepSeek 正式服務的推論引擎
根據 GitHub 說明文件，DeepInfer 是「為 DeepSeek 模型打造的高效能、大規模推論框架」，包含最佳化的運算核心、模型與取樣器執行環境。核心元件沿用 DeepSeek 先前釋出的 FlashMLA、DeepGEMM、DeepEP 與 TileKernels，並整合注意力資料平行、平衡式脈絡平行，以及搭配 EPLB 的 MoE 專家平行。官方也提供搭配的 deepseek-recipe 函式庫，用來把請求轉成與 DeepSeek 官方 API 相同邏輯的 token 序列。
2025 年 4 月 DeepSeek 曾表示，因為小型研究團隊沒有餘力維護龐大的開源專案，所以沒有釋出完整引擎，當時也說明內部引擎源自 vLLM 的早期分支。這次的說明文件則明確把 vLLM 列為原始基礎。
官方公布的效能手法與數字
DeepSeek 在說明文件中列出幾項關鍵最佳化。第一是透過 DSpark 實現的推測式解碼：草稿模型一次提出五個 token，再由信心頭預測主模型會接受哪些，讓每一步需要驗證的草稿 token 減少約 30%，DeepSeek 估計在其正式環境負載下可帶來 4% 到 7% 的吞吐量提升。第二是有界 SWA 重播，每個提示詞只讓最後 128 個 token 通過解碼器層，官方表示可讓整體 prefill 運算量減少近一半。
在規模方面，DeepSeek 指出單一叢集每天服務 155 兆個 token，以離峰定價計算，每張 GPU 每小時的營收約 38 美元。另外框架也支援以正規表示式、JSON schema 或 EBNF 文法限制輸出，並提供不受批次影響的確定性取樣，後者目前僅限 NVIDIA 硬體。這些數字都是 DeepSeek 自行公布，說明文件中的 prefill 與 decode Pareto 圖，是以 4 張 SM100 GPU 負責 prefill、64 張負責 decode 量測，並附上 run_sweep.sh 供外界重現。
硬體支援：Blackwell 與昇騰 950 並行
DeepInfer 目前支援 NVIDIA SM100 Blackwell GPU 與華為昇騰 950 NPU，Hopper 與更早的 NVIDIA 架構並不在支援範圍內。昇騰支援的時間點，緊接在 9 月 30 日 TileLang 核心語言登上華為晶片之後。外界報導指出，華為昇騰 950DT 預計部署超過 16 萬顆於內蒙古的新資料中心，DeepInfer 的雙平台設計，也讓外界關注中國 AI 業者在非 NVIDIA 硬體上的推論成熟度。
這次沒有開源的部分
這次釋出的是離線推論版本，KV 快取管理、prefill 與 decode 的跨機器拆分，以及資料平行副本間的負載平衡都沒有包含。DeepSeek 表示這些程式碼與內部基礎架構高度耦合，說明文件中描述的最小高效部署規模，是 64 張 GPU 負責 prefill、另 64 張負責 decode。換句話說，一般開發者可以研究並驗證 DeepSeek 的核心最佳化手法，但要複製 DeepSeek 等級的整套服務，仍需要自行補上這幾塊拼圖。DeepSeek 也表示，未來模型的推論程式碼會放進同一個儲存庫。
時間點與外界反應
這項釋出發生在美國國土安全部要求聯邦文職機構移除 DeepSeek 產品的隔天，不過 DeepSeek 並未說明兩者是否有關聯。對開發者社群而言，更直接的意義在於：長期以「低價大量服務」聞名的 DeepSeek，第一次讓外界看見這套成本結構背後的工程細節，也讓 vLLM、SGLang 等既有開源推論引擎多了一個可對照的參考實作。DeepInfer 能否在社群中成為主流選項，還要看後續是否補齊缺少的元件，以及 Hopper 世代硬體的支援。
資料來源
- DeepSeek-ai/DeepInfer GitHub 儲存庫
- SiliconANGLE：DeepSeek open-sources DeepInfer
- Quartz：DeepSeek open-source DeepInfer inference software
