這是採用了
混合專家模型(MoE)的智慧分工機制。系統將龐大的知識庫切分成多個各具專長的專家模組,當接收到任務時,模型內部的調度器只會精準挑選最相關的專家來解答,而非啟動全部參數。
這項架構主要帶來三大實質優勢:
- 推論成本大幅壓低:只運算活躍參數,能享有 1 兆參數模型的知識廣度,卻只需支付中型模型的運算費用。
- 生成反應速度更快:計算量大幅縮減,能顯著降低回應延遲,提升互動流暢度。
- 專業領域更專精:各領域專家各司其職,在程式碼、多語言或特定邏輯分析上更不易互相干擾。
這也是它能將每百萬 token 輸入費用壓至 0.68 美元的關鍵核心。