問題 2 / 5
為什麼 AI 業者要特別把「推論」跟「訓練」分開部署？這兩者有何差別？
AI 根據文章內容回答
簡單來說，「訓練」像是在學校苦讀考執照，而「推論」則是正式上場替客戶答題。
訓練階段需要輸入海量資料並運用龐大算力打造出模型，過程極度耗能且耗時，通常會集中在能源最便宜、規模最大的少數資料中心進行。推論則發生在每次使用者提問、產生內容或執行自動化任務時。由於推論需求隨時在發生，且使用者非常在意「送出問題後多久拿到答案」，因此業者必須將推論算力分散部署在離市場最近的地方，以降低網路延遲並提高服務效率。
訓練階段需要輸入海量資料並運用龐大算力打造出模型，過程極度耗能且耗時，通常會集中在能源最便宜、規模最大的少數資料中心進行。推論則發生在每次使用者提問、產生內容或執行自動化任務時。由於推論需求隨時在發生，且使用者非常在意「送出問題後多久拿到答案」，因此業者必須將推論算力分散部署在離市場最近的地方，以降低網路延遲並提高服務效率。