AI 根據文章內容回答
DiffusionGemma 在效能表現與硬體門檻之間取得了極佳的平衡。在推論速度方面,該模型在特定硬體上展現了驚人的數據:在單張 NVIDIA H100 伺服器級顯卡上,每秒可生成超過 1000 個 Token;而在消費級的 NVIDIA GeForce RTX 5090 上,亦能跑出每秒 700 個以上 Token 的傲人成績。在硬體需求部分,DiffusionGemma 展現了高度的親民性,這主要歸功於其採用的 26B 總參數量混合專家模型(MoE)架構。雖然總參數規模大,但在推論期間實際上只會啟動 3.8B 的參數。這意味著在經過量化(Quantized)處理後,該模型能輕鬆塞進僅需 18GB VRAM 的消費級高階顯卡中,大幅降低了個人開發者的硬體門檻。然而,文章也特別提醒,對於依賴統一記憶體架構的硬體(如 Apple Silicon Macs),其加速體感可能不如獨立顯卡明顯。為了進一步優化效能,Google 還與 NVIDIA 合作支援最新的 NVFP4(4 位元浮點數)加速技術,實現近乎無損精度的極速推論。