想精打細算並維持系統穩定,建議在實作開發時掌握以下三個操作細節:
- 善用提示快取(Prompt Caching)機制:模型提供極便宜的快取輸入費率(每百萬 token 僅 0.07 美元)。將固定不變的大型參考文件、程式碼庫或系統角色設定放在提示詞開頭,能省下將近九成的重複輸入成本。
- 多方核對帳單實時扣款:由於官方公布的文件與新聞稿標價存在差異,在專案剛上線時,務必定期至管理後台檢查實際扣款金額,避免預算超支。
- 善用結構化輸出縮短長度:透過限制 JSON 或表格輸出,並搭配非即時的批次處理(Batch API),不僅能省去模型產生客套廢話的 Token 浪費,還能取得更漂亮的批次折扣。