問題 2 / 5

開啟 100 萬 Token 模式後,雖然解決了長歷程遺忘的問題,但配額消耗極快且回應變慢,該如何降低運算負擔?

AI 根據文章內容回答
百萬模式下每輪對話都會重新計算龐大的歷史紀錄,要解決配額與延遲問題,重點在於控管歷史紀錄的膨脹速度。建議嘗試以下優化作法:
  • 設定合理的自動壓縮點:將 model_auto_compact_token_limit 降至 60 萬至 70 萬之間,提早觸發摘要機制,避免 Context 長期維持在高檔運算。
  • 善用分支會話(Session Splitting):當完成特定模組的開發後,及時開立新的對話 Session,僅將「上一階段的產出結果」貼入新會話,斷開無關的推理過程。
  • 減少無效的工具調用:限制 AI 自主執行過於頻繁的全專案搜尋(如 grep),改由人工精準指定檔案路徑,能大幅減少 Token 的暴增。

其他問題

Q1 想要充分利用百萬 Context 來重構大型專案,除了改設定檔之外,還有哪些「上下文工程」的小技巧可以避免 AI 吃進太多無效雜訊? Q3 面對日常開發中的不同任務,該如何彈性切換模式,才能兼顧「日常修補的省額度」與「大型重構的高記憶力」? Q4 在設定檔中把 model_auto_compact_token_limit 設在 90 萬而非滿額的 100 萬,這背後的緩衝機制運作邏輯是什麼? Q5 解鎖百萬 Context 之後,下一步還可以搭配哪些終端機工具或工作流設定,讓 AI 寫程式的效率進一步提升?