問題 4 / 5
想了解自家業務或個人專案在 AI 運算上的效能瓶頸，有什麼簡單的方法或指標可以快速評估？
AI 根據文章內容回答
要評估 AI 系統在硬體上的運算效能，可以從三個最核心的實務指標切入：
- 首個 Token 輸出時間（TTFT）：代表系統接收請求到產生第一個字的延遲，主要考驗系統的運算反應能力與網路頻寬。
- 每秒 Token 生成量（TPS）：反映整體輸出流暢度，這個指標高度依賴記憶體頻寬，通常是記憶體效能不足的直接體現。
- 記憶體占用率與併發量：檢視在使用者增加時，顯示記憶體是否容易爆滿，藉此判斷是否需要進行模型量化壓縮或改用更高規格的硬體設備。