執行本機大型語言模型(LLM)時,限制效能的關鍵往往不是算力不夠,而是
記憶體容量與傳輸頻寬上限。AI 模型在運算時,需要將數百億個參數權重完全載入記憶體中。一旦模型體積超出容量,系統就必須使用硬碟作為虛擬記憶體,導致速度急劇下降。
雖然 M6 具備強大的 Dual 16-core Neural Engine 與 GPU 算力:
- 32GB 容量限制:扣除 macOS 系統與其他軟體佔用後,實際能分配給 AI 模型的空間約在 20GB 到 24GB 左右,限制了能順暢執行的模型規模(通常約 7B 到 14B 參數模型)。
- 記憶體頻寬(170GB/s):雖然比 M5 提升,但相較於 M5 Pro 的 307GB/s 仍有差距,這會影響 AI 生成文字時的速度。
因此,若想流暢跑更大規模的本機模型,高階晶片的大記憶體優勢依然不可替代。