地端也能每秒 1,000 token！Google 推出 DiffusionGemma：文字擴散技術帶來 4 倍推論加速

問題 3 / 5

開發者在選擇使用 DiffusionGemma 時，應考慮哪些推薦與不推薦的應用情境？

Q: DiffusionGemma 的生成機制與傳統自迴歸模型有何不同？

DiffusionGemma 採用了與傳統自迴歸模型截然不同的生成邏輯。傳統模型如同一台「打字機」，必須依序從左至右、一個 Token 接著一個 Token 順序生成，這在本地端運行時常導致 GPU 算力因等待下一個按鍵觸發而嚴重閒置。相比之下，DiffusionGemma 導入了「文字擴散技術（Text Diffusion）」，其運作流程類似「大規模印刷機」，主要分為三個階段：首先是「建立畫布」，模型會先生成一個包含 256 個隨機佔位符的 Token 區塊；接著進入「反覆精煉」，透過多次掃描鎖定正確的 Token 並以此作為上下文線索，即時修正區塊內其餘內容；最後進行「最終打磨」並輸出高品質段落。這種模式將解碼瓶頸從記憶體頻寬轉移到了運算核心，讓 GPU 能夠火力全開，在特定硬體上實現了高達 4 倍的推論速度提升。此外，由於它一次處理 256 個 Token，模型具備了「雙向注意力（Bi-directional attention）」，這使其在處理非線性任務時，能比傳統模型更有效地統觀全局並即時自我修正錯誤。

Q: 在硬體效能與需求方面，DiffusionGemma 表現如何？

DiffusionGemma 在效能表現與硬體門檻之間取得了極佳的平衡。在推論速度方面，該模型在特定硬體上展現了驚人的數據：在單張 NVIDIA H100 伺服器級顯卡上，每秒可生成超過 1000 個 Token；而在消費級的 NVIDIA GeForce RTX 5090 上，亦能跑出每秒 700 個以上 Token 的傲人成績。在硬體需求部分，DiffusionGemma 展現了高度的親民性，這主要歸功於其採用的 26B 總參數量混合專家模型（MoE）架構。雖然總參數規模大，但在推論期間實際上只會啟動 3.8B 的參數。這意味著在經過量化（Quantized）處理後，該模型能輕鬆塞進僅需 18GB VRAM 的消費級高階顯卡中，大幅降低了個人開發者的硬體門檻。然而，文章也特別提醒，對於依賴統一記憶體架構的硬體（如 Apple Silicon Macs），其加速體感可能不如獨立顯卡明顯。為了進一步優化效能，Google 還與 NVIDIA 合作支援最新的 NVFP4（4 位元浮點數）加速技術，實現近乎無損精度的極速推論。

Q: 開發者在選擇使用 DiffusionGemma 時，應考慮哪些推薦與不推薦的應用情境？

根據官方建議，DiffusionGemma 是一款針對極致速度而設計的實驗性模型，開發者應根據任務特性進行取捨。推薦使用的情境包括：需要極高反應速度的即時互動型應用、文字編輯器中的行內文字輔助、需要快速迭代的本地化工作流，以及如程式碼填補等非線性文本生成任務。在這些場景下，其「用速度換取互動性」的特性將使工具變得流暢無感。相對地，不推薦使用的情境則包括：對文字品質有極高要求的正式產品輸出（此時建議改用標準版 Gemma 4）、需要處理高 QPS（每秒查詢率）的雲端大規模伺服器，因為在這種高併發環境下，並行解碼的邊際效益會遞減。此外，若開發環境是基於統一記憶體架構（如 Apple Silicon），其加速效果可能受限。總結來說，DiffusionGemma 的核心價值在於邊緣運算與本地 AI 應用，它能讓開發者在有限的硬體資源下，獲得極速的生成體驗，但在追求極致文筆或大規模雲端部署時，傳統模型或標準版模型仍是較穩健的選擇。

Q: DiffusionGemma 如何處理傳統模型不擅長的「非線性任務」？

DiffusionGemma 處理非線性任務的能力源於其獨特的架構設計與「雙向注意力（Bi-directional attention）」機制。傳統自迴歸模型受限於單向生成的特性，難以回頭修正已產出的內容，但在 DiffusionGemma 的擴散邏輯下，模型一次能處理 256 個 Token 的區塊。在生成過程中，模型並非盲目產出，而是透過多次掃描來精煉內容。這種機制讓它在處理複雜邏輯時具備強大的自我修正能力，具體體現在以下任務中：程式碼中段填補（In-filling）：模型能同時參考缺失區塊的前後文邏輯，精準填入正確的程式碼。胺基酸序列解析：利用全局視野處理生物資訊序列的複雜關聯。破解數獨：在生成過程中統觀全局，根據已確定的數字即時修正其餘位置的錯誤。這種「一次印出整段文字」的印刷機模式，讓模型在處理需要同時考慮前後文關聯的任務時如魚得水。這項突破象徵著模型不再僅僅是單向的文字產生器，而是具備了在生成過程中不斷審視與調整全局的能力，從而大幅提升了在特定邏輯任務上的準確度與靈活性。

Q: Google 為 DiffusionGemma 提供了哪些生態系支援與開發工具？

為了幫助開發者快速上手並發揮 DiffusionGemma 的潛力，Google 構建了豐富的支援體系。首先，該模型採用友善的 Apache 2.0 授權，並已在 Hugging Face 平台上架供開發者下載。在部署工具方面，目前已支援 MLX、vLLM 以及 Hugging Face Transformers，官方並預告即將支援廣受歡迎的 llama.cpp。針對硬體最佳化，Google 與 NVIDIA 深度合作，支援最新的 NVFP4 加速技術，讓推論過程既快速又精準。在微調與客製化方面，Google 釋出了 Hackable Diffusion 模組化工具箱，並確保模型與 Unsloth 及 NVIDIA NeMo 等主流工具相容，讓開發者能針對特定任務訓練專屬模型。此外，官方還提供了開發者指南等相關資源，協助開發者將此模型整合進寫作輔助或即時程式碼生成等應用中。這些工具的整合，旨在降低開發門檻，讓 DiffusionGemma 成為今年開發者探索邊緣運算與本地 AI 應用的重要利器。至於是否支援其他非 NVIDIA 體系的硬體加速技術，文章未提及此部分。

AI 根據文章內容回答

根據官方建議，DiffusionGemma 是一款針對極致速度而設計的實驗性模型，開發者應根據任務特性進行取捨。推薦使用的情境包括：需要極高反應速度的即時互動型應用、文字編輯器中的行內文字輔助、需要快速迭代的本地化工作流，以及如程式碼填補等非線性文本生成任務。在這些場景下，其「用速度換取互動性」的特性將使工具變得流暢無感。相對地，不推薦使用的情境則包括：對文字品質有極高要求的正式產品輸出（此時建議改用標準版 Gemma 4）、需要處理高 QPS（每秒查詢率）的雲端大規模伺服器，因為在這種高併發環境下，並行解碼的邊際效益會遞減。此外，若開發環境是基於統一記憶體架構（如 Apple Silicon），其加速效果可能受限。總結來說，DiffusionGemma 的核心價值在於邊緣運算與本地 AI 應用，它能讓開發者在有限的硬體資源下，獲得極速的生成體驗，但在追求極致文筆或大規模雲端部署時，傳統模型或標準版模型仍是較穩健的選擇。

其他問題

Q1 DiffusionGemma 的生成機制與傳統自迴歸模型有何不同？ Q2 在硬體效能與需求方面，DiffusionGemma 表現如何？ Q4 DiffusionGemma 如何處理傳統模型不擅長的「非線性任務」？ Q5 Google 為 DiffusionGemma 提供了哪些生態系支援與開發工具？