GPUs 是 AI 訓練與推論的「大腦」,但要讓這個大腦順暢運作,龐大的「神經系統」與「後勤支援」全靠 CPU。在實際運作中,CPU 扮演著不可或缺的三大角色:
- 資料預處理與傳輸:在把巨量文字或影像餵給 GPU 之前,需要 CPU 進行資料清洗、格式轉換與排隊,才不會讓昂貴的 GPU 空轉等待。
- 集群排程與調度:利用 Kubernetes 等工具調度成千上萬顆 GPU 時,需要強大的 CPU 提供穩定的運算能力來維護控制節點。
- 用戶請求與 API 處理:數百萬使用者同時存取 AI 服務時,前端的身份驗證、流量分流與數據儲存,全是由 CPU 架構撐起來的。
因此,AI 模型越龐大、用戶量越高,背後需要的 CPU 基礎設施規模也就越驚人。