OpenAI 今天 (3/15) 宣布推出功能更強大的 GPT-4 AI 模型，除了有許多功能進步外，OpenAI 也同時公布了透過在 API 中使用 GPT-4 模型的定價模式，並提供 8K context 及 32K context 兩種模型供開發人員選擇。
token 上限大幅放寬，但收費也更貴
在以 GPT-3.5 為基礎的 Davinci 模型上，API 的計價是每 1,000 token 收費 0.02 美元，每次交互的 token 上限為 4,096 個 token (包含指令、回覆)，對於一些比較複雜的指令來說，使用上不僅會受到限制，開發人員也需要花費大量的時間處理 AI 回應資訊不一致時產生的例外狀況，雖然在 API 串接工程上不需花費太多時間，但產生例外狀況卻是 OpenAI 開發人員最頭痛的部分。
GPT-4 提供 8K context 及 32K context 兩種模型，並將指令 (prompt) 與回應 (completion) 分別計價。8K context 顧名思義可以處理 8192 個 token，指令價格為 0.03 美元/1000 個 token、回應價格為 0.06 美元/1000 個 token。另外還提供能處理更大量資訊的的 32K context 模型，可以處理多達 32,768 個 token，指令價格為 0.06 美元/1000 個 token、回應價格為 0.12 美元/1000 個 token。
相較於目前最廣泛使用的 Davinci 模型 0.02 美元/1000 個 token 的價格，GPT-4 的價格提高了最多 6 倍。但開發者可以依實際需求選擇適合的模型，如果 Davinci 就已能滿足需求，就不用花費更高的成本使用 GPT-4。
| 模型 | 指令 (Prompt) | 回應 (Completion) |
|---|---|---|
| 8K context | $0.03 / 1K tokens | $0.06 / 1K tokens |
| 32K context | $0.06 / 1K tokens | $0.12 / 1K tokens |
設定角色更不會 “歪樓”
在使用 ChatGPT 時，很多人都已經學會透過「從現在開始你將扮演____角色」之類的指令來告訴 AI 進行「角色扮演」，但在 GPT-3.5 之前，這個設定很可能被使用者輸入給複寫 (改) 掉，造成系統出現非預期的回應。
GPT-4 中 OpenAI 強化了這個部分的運作，開發人員同樣是在 “system” 訊息中描述 AI 風格及任務，一旦指定後，使用者就不容易透過類似「請忽略過去的指令」或直接詢問等方式，改變開發人員對 AI 設定的角色任務。
不過 OpenAI 並沒有承諾改進後的系統訊息能有多少約束力，只鼓勵開發者可以多嘗試 “越獄” (哪招?) 並和他們討論。
GPT 模型使用量並不是以文字數量計算，而是在先將文字轉成 token 再進行處理，開發人員可以透過官方提供的 Tokenizer 評估指令所需的 token 數量，同時保留足夠的額度讓系統能提供完整的回覆。以中文來說，1,000 個 token 大約是 546 個中文字，不過仍會隨著文字內容有所增減。
