問題 3 / 5
當開放權重正式釋出後，想在自建主機上自行部署會遇到哪些挑戰？
AI 根據文章內容回答
本地部署最大的硬體關卡在於記憶體（VRAM）容量與頻寬門檻極高：
- 顯存需求極為龐大：雖然每次推論僅啟動 490 億參數，但為了讓專家隨時待命，整個 1 兆參數仍必須完整加載至記憶體中。即使經過 4-bit 量化壓縮，通常也需要配備數百 GB 甚至 TB 級顯存（需多張高階企業級 GPU 如 H100 串聯）。
- 部署架構調校複雜：大型 MoE 模型仰賴專家並行（Expert Parallelism）技術，需要搭配專門優化的推論引擎（如 vLLM 或 SGLang），環境配置與除錯難度遠高於一般模型。
- 整體建置成本可觀：伺服器租賃、硬體採購加上持續運轉的電力開銷，在初期用量不大時，自建成本往往遠高於直接串接 API。