模型開發主要分為「預訓練」與「後訓練」兩個階段。如果預訓練是讓 AI 讀完全世界的圖書、累積滿腹經綸,那麼
後訓練(Post-training)就是教它如何成為一位懂規矩、能精準解決問題的「專業助理」。
在後訓練階段,研發團隊會進行以下重點調校:
- 對齊使用者意圖:透過人類反饋強化學習,讓 AI 聽懂人話與指令細節,不再隨便胡言亂語或產生回答偏差。
- 工具調用能力:訓練 AI 學會使用計算機、搜尋引擎或執行程式碼,這是發展「自主代理人(AI Agent)」最關鍵的技能。
- 安全與回答邊界:過濾有害資訊,確保回答符合社會規範與隱私要求。
因此,進入後訓練意味著模型的基本智力已經定型,接下來的重點是磨練它的「實用度」與「穩定度」。當這個階段完成,我們才能體驗到真正聽得懂指令、表現穩定的新一代 AI 助手。