Gemma 4 12B 效能突破的關鍵在於採用了全新的
統一架構(Unified Architecture),這與傳統多模態模型有顯著不同。傳統模型通常依賴獨立的編碼器來處理圖片或聲音,這會導致運算延遲增加並佔用過多記憶體。Gemma 4 12B 則透過以下技術優化解決了這些問題:
- 視覺處理優化:開發團隊完全移除了傳統的視覺編碼器,改用極度輕量化的嵌入模組(Embedding module)替代。這使得語言模型的主幹能直接承擔大部分視覺處理工作,大幅降低了系統負擔。
- 音訊處理革新:同樣完全移除了音訊編碼器,改以將原始音訊訊號直接投影(Project)到與文字標記(Text Token)相同的空間中運作。
這種設計讓模型能夠
原生處理多模態輸入,不僅顯著降低了反應延遲,更提升了硬體使用效率。這兩項技術的結合,使模型能以相對小的記憶體佔用空間,達成接近大型模型的效能,並實現更快的系統反應速度。