title: DeepSeek 開源 DeepInfer：正式服務用的推論引擎首度公開，同時支援 Blackwell 與昇騰 950 --- **Category** - [AI](https://www.soft4fun.net/category/tech/ai) - [新聞](https://www.soft4fun.net/category/tech/news) - [科技](https://www.soft4fun.net/category/tech) **Tag** - [AI](https://www.soft4fun.net/tag/ai) - [DeepInfer](https://www.soft4fun.net/tag/deepinfer) - [DeepSeek](https://www.soft4fun.net/tag/deepseek) **圖片清單** - ![DeepSeek 開源 DeepInfer：正式服務用的推論引擎首度公開，同時支援 Blackwell 與昇騰 950 deepseek](https://cf.img.soft4fun.net/2026/10/deepseek.webp "deepseek") --- [DeepSeek](https://www.soft4fun.net/tag/deepseek) 開源 **[DeepInfer](https://www.soft4fun.net/tag/deepinfer)**的消息，在 10 月 20 日當天就讓這個 GitHub 專案累積超過 1.2 萬顆星，並在 Hacker News 衝上 2,000 多點。DeepInfer 是 DeepSeek 自家正式服務背後使用的大規模推論框架，採用 Apache 2.0 授權，目前支援 DeepSeek-V4.1-Flash，並同時支援 NVIDIA Blackwell 與華為昇騰 950。這是 DeepSeek 繼 2025 年 4 月未能釋出完整推論引擎之後，首次把正式環境的推論程式碼攤開在外界面前。 ![DeepSeek 開源 DeepInfer：正式服務用的推論引擎首度公開，同時支援 Blackwell 與昇騰 950 deepseek](https://cf.img.soft4fun.net/2026/10/deepseek.webp "DeepSeek 開源 DeepInfer：正式服務用的推論引擎首度公開，同時支援 Blackwell 與昇騰 950 deepseek") ## DeepInfer 是什麼：DeepSeek 正式服務的推論引擎 根據 GitHub 說明文件，DeepInfer 是「為 DeepSeek 模型打造的高效能、大規模推論框架」，包含最佳化的運算核心、模型與取樣器執行環境。核心元件沿用 DeepSeek 先前釋出的 FlashMLA、DeepGEMM、DeepEP 與 TileKernels，並整合注意力資料平行、平衡式脈絡平行，以及搭配 EPLB 的 MoE 專家平行。官方也提供搭配的 deepseek-recipe 函式庫，用來把請求轉成與 DeepSeek 官方 API 相同邏輯的 token 序列。 2025 年 4 月 DeepSeek 曾表示，因為小型研究團隊沒有餘力維護龐大的開源專案，所以沒有釋出完整引擎，當時也說明內部引擎源自 vLLM 的早期分支。這次的說明文件則明確把 vLLM 列為原始基礎。 ## 官方公布的效能手法與數字 DeepSeek 在說明文件中列出幾項關鍵最佳化。第一是透過 DSpark 實現的推測式解碼：草稿模型一次提出五個 token，再由信心頭預測主模型會接受哪些，讓每一步需要驗證的草稿 token 減少約 30%，DeepSeek 估計在其正式環境負載下可帶來 4% 到 7% 的吞吐量提升。第二是有界 SWA 重播，每個提示詞只讓最後 128 個 token 通過解碼器層，官方表示可讓整體 prefill 運算量減少近一半。 在規模方面，DeepSeek 指出單一叢集每天服務 155 兆個 token，以離峰定價計算，每張 GPU 每小時的營收約 38 美元。另外框架也支援以正規表示式、JSON schema 或 EBNF 文法限制輸出，並提供不受批次影響的確定性取樣，後者目前僅限 NVIDIA 硬體。這些數字都是 DeepSeek 自行公布，說明文件中的 prefill 與 decode Pareto 圖，是以 4 張 SM100 GPU 負責 prefill、64 張負責 decode 量測，並附上 run_sweep.sh 供外界重現。 ## 硬體支援：Blackwell 與昇騰 950 並行 DeepInfer 目前支援 NVIDIA SM100 Blackwell GPU 與華為昇騰 950 NPU，Hopper 與更早的 NVIDIA 架構並不在支援範圍內。昇騰支援的時間點，緊接在 9 月 30 日 TileLang 核心語言登上華為晶片之後。外界報導指出，華為昇騰 950DT 預計部署超過 16 萬顆於內蒙古的新資料中心，DeepInfer 的雙平台設計，也讓外界關注中國 [AI](https://www.soft4fun.net/tag/ai) 業者在非 NVIDIA 硬體上的推論成熟度。 ## 這次沒有開源的部分 這次釋出的是離線推論版本，KV 快取管理、prefill 與 decode 的跨機器拆分，以及資料平行副本間的負載平衡都沒有包含。DeepSeek 表示這些程式碼與內部基礎架構高度耦合，說明文件中描述的最小高效部署規模，是 64 張 GPU 負責 prefill、另 64 張負責 decode。換句話說，一般開發者可以研究並驗證 DeepSeek 的核心最佳化手法，但要複製 DeepSeek 等級的整套服務，仍需要自行補上這幾塊拼圖。DeepSeek 也表示，未來模型的推論程式碼會放進同一個儲存庫。 ## 時間點與外界反應 這項釋出發生在美國國土安全部要求聯邦文職機構移除 DeepSeek 產品的隔天，不過 DeepSeek 並未說明兩者是否有關聯。對開發者社群而言，更直接的意義在於：長期以「低價大量服務」聞名的 DeepSeek，第一次讓外界看見這套成本結構背後的工程細節，也讓 vLLM、SGLang 等既有開源推論引擎多了一個可對照的參考實作。DeepInfer 能否在社群中成為主流選項，還要看後續是否補齊缺少的元件，以及 Hopper 世代硬體的支援。 ## 資料來源 - [DeepSeek-ai/DeepInfer GitHub 儲存庫](https://github.com/deepseek-ai/DeepInfer) - [SiliconANGLE：DeepSeek open-sources DeepInfer](https://siliconangle.com/2026/10/20/deepseek-open-sources-deepinfer-the-inference-framework-behind-its-production-services/) - [Quartz：DeepSeek open-source DeepInfer inference software](https://qz.com/deepseek-open-source-deepinfer-inference-software-ai-102026) #### 更多AI相關報導 - [DeepSeek 開源 DeepInfer：正式服務用的推論引擎首度 開，同時支援 Blackwell 與昇騰 950](https://www.soft4fun.net/tech/ai/deepseek-deepinfer-open-source-inference-framework.htm) - [Claude Duet 登場：Anthropic 推出會主動找你的 AI 代理人，每天早上 替你看完信箱與行事曆](https://www.soft4fun.net/tech/ai/anthropic-claude-duet-proactive-agent-research-preview.htm) - [Railway也遭駭！類Zeabur資安事件，環境變數遭解密存取](https://www.soft4fun.net/tech/information-security/railwaysecurity-disclosure.htm) - [FF Nova 小型人形機器人發表：2,490 美 、首批限 100 台，Nova Mini 299 美 主打程式教育](https://www.soft4fun.net/tech/ai/ff-nova-nova-mini-humanoid-robot-developer-education.htm) - [Meta 發表 Muse Spark Open：816B 開放權重模型， 台 M5 Ultra Mac Studio 就能執行](https://www.soft4fun.net/tech/news/meta-muse-spark-open-816b-open-weight-m5-ultra-mac-studio.htm)