發揮新模型最大成本優勢的關鍵,在於善用
Prompt Caching(提示詞快取)與 Reasoning(推理強度)彈性調整:
- 把固定指令放在最前面:將不會改變的系統指令、資料格式範例或參考背景寫在提示詞前半部,能順利觸發快取機制,享受高達 90% 的快取折扣。
- 動態調整 Reasoning 強度:對於簡單的資料整理,將推理強度調低;碰到複雜邏輯時再拉高,不必一律用最高強度處理所有提問。
- 採用兩階段處理流程:先讓超便宜的 Luna 進行資料分類或初步篩選,確認需要深層思考時才轉交給 Sol 接手。
這些小調整累積下來,能讓你的運作成本降到驚人的低點。