問題 2 / 5

想要幫自己的小專案串接新 API,有哪些簡單的設定技巧可以讓成本再降得更低?

AI 根據文章內容回答
發揮新模型最大成本優勢的關鍵,在於善用 Prompt Caching(提示詞快取)與 Reasoning(推理強度)彈性調整:
  1. 把固定指令放在最前面:將不會改變的系統指令、資料格式範例或參考背景寫在提示詞前半部,能順利觸發快取機制,享受高達 90% 的快取折扣。
  2. 動態調整 Reasoning 強度:對於簡單的資料整理,將推理強度調低;碰到複雜邏輯時再拉高,不必一律用最高強度處理所有提問。
  3. 採用兩階段處理流程:先讓超便宜的 Luna 進行資料分類或初步篩選,確認需要深層思考時才轉交給 Sol 接手。
這些小調整累積下來,能讓你的運作成本降到驚人的低點。

其他問題

Q1 平常寫程式或處理工作時,到底該選旗艦級 Astra、中階 Sol 還是輕量 Luna?這三款模型的選擇標準是什麼? Q3 換用性價比高的模型雖然省錢,但在實際使用時最容易踩到哪些坑?該怎麼避開? Q4 為什麼這次 OpenAI 會罕見地直接列出競爭對手的成績?這背後反映了什麼有趣的新趨勢? Q5 體驗完這次降價的新模型後,接下來還有哪些值得關注的應用方向或進階玩點?