DiffusionGemma 處理非線性任務的能力源於其獨特的架構設計與
「雙向注意力(Bi-directional attention)」機制。傳統自迴歸模型受限於單向生成的特性,難以回頭修正已產出的內容,但在 DiffusionGemma 的擴散邏輯下,模型一次能處理
256 個 Token 的區塊。在生成過程中,模型並非盲目產出,而是透過多次掃描來精煉內容。這種機制讓它在處理複雜邏輯時具備強大的
自我修正能力,具體體現在以下任務中:
- 程式碼中段填補(In-filling):模型能同時參考缺失區塊的前後文邏輯,精準填入正確的程式碼。
- 胺基酸序列解析:利用全局視野處理生物資訊序列的複雜關聯。
- 破解數獨:在生成過程中統觀全局,根據已確定的數字即時修正其餘位置的錯誤。
這種「一次印出整段文字」的印刷機模式,讓模型在處理需要同時考慮前後文關聯的任務時如魚得水。這項突破象徵著模型不再僅僅是單向的文字產生器,而是具備了在生成過程中不斷審視與調整全局的能力,從而大幅提升了在特定邏輯任務上的準確度與靈活性。