問題 1 / 5

大家討論 AI 時總是聚焦在輝達的 GPU 顯卡,為什麼像 Anthropic 這樣的頂級模型廠商,還需要砸下百億美元重金購買「CPU」算力?

AI 根據文章內容回答
GPUs 是 AI 訓練與推論的「大腦」,但要讓這個大腦順暢運作,龐大的「神經系統」與「後勤支援」全靠 CPU。在實際運作中,CPU 扮演著不可或缺的三大角色:
  • 資料預處理與傳輸:在把巨量文字或影像餵給 GPU 之前,需要 CPU 進行資料清洗、格式轉換與排隊,才不會讓昂貴的 GPU 空轉等待。
  • 集群排程與調度:利用 Kubernetes 等工具調度成千上萬顆 GPU 時,需要強大的 CPU 提供穩定的運算能力來維護控制節點。
  • 用戶請求與 API 處理:數百萬使用者同時存取 AI 服務時,前端的身份驗證、流量分流與數據儲存,全是由 CPU 架構撐起來的。
因此,AI 模型越龐大、用戶量越高,背後需要的 CPU 基礎設施規模也就越驚人。

其他問題

Q2 這種全球分散式的「邊緣運算」基礎設施,對我們平常使用 AI 工具時,會帶來哪些最直接的體感差異? Q3 近來科技界很流行「拿訂單換股票認購權」的簽約模式,這種做法對合作雙方各自有什麼好處與潛在風險? Q4 除了向雲端廠商買算力,生成式 AI 產業現在還正面臨哪些嚴重的「基礎設施瓶頸」? Q5 想持續關注這波 AI 基礎設施大戰的後續發展,一般讀者可以觀察哪些關鍵指標或產業動態?