摘要:給 API Key 設了額度,費用仍可能超出預期。本文說明原因,並把 AI 試用的預算控制拆成三道有先後順序的預算線。
先說結論:網關上的 Key 額度是軟上限,在併發請求下不能當作硬賬單上限。以 API易 的令牌文檔爲例,額度在請求開始時檢查。多個請求同時通過檢查,或者單次請求本身價格很高,最終消耗都可能超過設定額度。
可靠的做法是分三層處理:
- 應用後端在發請求前完成檢查,並原子性地預留預算。
- 網關側給試用流量單獨發 Key,配上額度和模型白名單,縮小這把 Key 被濫用時的影響範圍。
- 賬戶餘額告警只負責通知,用來觸發人工響應。
這三層的職責互不替代。真正的預算準入發生在應用自己的賬本里。

知識地圖與索引:三道預算線的先後與分工
下表同時承擔知識地圖和索引的作用。它列出三道預算線按什麼順序生效、各自負責什麼、爲什麼這樣安排,以及對應的正文編號。
| 順序 | 預算線 | 負責什麼 | 爲什麼放在這個位置 | 目標 | 正文 |
|---|---|---|---|---|---|
| 前提 | 理解軟額度 | 區分請求前檢查、預扣和實扣 | 不清楚扣費時序,後面三層就無從設計 | 明白超支是怎麼發生的 | 1、1.1 |
| 第一道 | 應用後端預算 | 按用戶和試用池做原子預留與結算 | 只有應用知道“誰在用、能用多少” | 讓超支在發請求前被攔下 | 2.1、3 |
| 第二道 | 獨立試用 Key | 額度、模型白名單、與正式流量隔離 | 應用出 bug 時,網關是第二層邊界 | 縮小單把 Key 的暴露面 | 2.2 |
| 第三道 | 賬戶餘額告警 | 餘額低於閾值時通知 | 告警是事後信號,沒有攔截能力 | 讓人及時介入 | 2.3 |
| 落地 | 併發賬本與上線檢查 | 預留、結算、失敗處理、對賬、友好提示 | 把前面的原則落成可驗證的流程 | 上線前能逐項驗收 | 3、4 |
閱讀順序建議:先讀第 1 節理解時序,再讀第 2 節明確分工,第 3 節是實現部分。第 4 節適合上線前單獨對照使用。
To Know:理解預算線前的必要術語
| 術語 | 簡明解釋 |
|---|---|
| 軟上限 | 請求開始時檢查額度,檢查通過後不保證總消耗不越線 |
| 預扣 | 網關按估算先扣一部分額度,請求結束後按實際用量結算 |
| 原子預留 | 用單條不可分割的操作完成“檢查餘量並佔用”,防止併發請求同時通過 |
| 在途預留 | 請求已發出、實際費用還沒確認時,賬本里仍處於佔用狀態的那部分預算 |
| remain_quota | API易 令牌的一次性總額度字段,文檔口徑爲 500000 對應 $1 |
| 對賬 | 用網關日誌與自有賬本逐條覈對,修正估算與實際之間的偏差 |
1 API Key 額度爲何可能被併發超出
API易 令牌文檔對這一點寫得很明確:Key 額度是軟上限,在請求開始時檢查。所以併發請求,或者單次高價請求,都可能讓實際消耗超過設定額度。這是“開始時檢查、結束時結算”這種計費結構本身的特性,和某個平臺有沒有 bug 沒有關係。
可以用一個假設場景來理解(數字均爲示意,非實測)。某試用 Key 剩餘額度摺合 $1,同一時刻湧入 20 個請求。每個請求在開始時看到的都是“餘額爲正”,於是全部放行。等它們陸續結束、按實際用量結算時,總消耗已經遠超 $1。就算沒有併發,一次長上下文加大輸出的請求,單次費用也可能超過剩餘額度。
還有兩個常見誤解需要說明:
- 額度不會每天自動恢復。文檔說明 remain_quota 是一次性總額度,“每天重置”需要應用方自己寫定時腳本實現。
- 模型白名單不等於費用上限。它只限制能調哪些模型,對同一模型的調用次數和每次的規模沒有約束。

1.1 API Key 額度的三個時點:請求前檢查、預估與實扣
一次調用在計費上有三個時點,各自回答的問題不同:
| 時點 | 發生在哪 | 回答的問題 | 能否作爲硬上限 |
|---|---|---|---|
| 請求前檢查 | 網關,請求開始時 | 這把 Key 此刻還有沒有餘量 | 不能,併發下會同時通過 |
| 預估與預扣 | 網關,基於估算 | 這次請求大概要佔多少 | 不能,估算與實際有偏差 |
| 實際扣費 | 網關,請求結束後 | 這次請求實際用了多少 | 事後數據,無法用來准入 |
API易 關於預扣額度的說明是:網關基於估算預扣,事後按實際用量結算,這一機制不替代業務側的原子預留。網關的預扣是爲了自身計費,並不知道你的某個用戶今天還剩多少試用額度。所以“這個用戶能不能再發一次請求”這個問題,只能由應用後端回答。
2 AI 試用的三道預算線
三道線分別面向三類風險:業務邏輯層面的超額使用、Key 層面的濫用或泄露、賬戶層面的餘額耗盡。OWASP API Security Top 10(2023)中的 API4「Unrestricted Resource Consumption」講的也是同一類問題:沒有對資源消耗設置限制的接口,會帶來服務和成本兩方面的風險。對 AI 接口來說,成本風險往往更直接。
2.1 第一道預算線:應用後端的用戶與試用池預算
這是唯一能做“准入”的一層,需要管兩個層級:
- 用戶級預算:每個試用用戶的總額度,或者日額度。日額度靠應用自己的定時任務重置,不依賴網關。
- 試用池預算:所有試用用戶共享的總上限。即便單個用戶都沒超限,用戶數激增時總成本也要有封頂。
一個請求要同時通過用戶級和池級的預留才能放行,並且兩者必須在同一個原子操作或同一個事務裏完成。否則還會出現“用戶預留成功、池子已經滿了”的競態。
這一層還要在服務端決定請求的規模:允許用哪個模型、max_tokens 上限是多少、輸入長度不能超過多少。這些參數不能交給前端傳入後直接透傳,否則用戶只要改一個參數,預估金額就失真了。
2.2 第二道預算線:獨立試用 Key、額度與模型白名單
網關側給試用流量單獨發一把 Key,與正式流量完全隔離。這把 Key 的職責是限制暴露面:應用賬本出了 bug,或者 Key 被泄露時,損失被限制在這把 Key 的額度之內,不會波及正式業務。
配置時要注意:
- 額度按“試用池預算 + 一定緩衝”來設。它應該比應用側的池預算略高,作爲兜底存在,不要和池預算設得一樣,否則應用層的預留形同虛設。
- 模型白名單隻放試用開放的模型。它能防止試用 Key 被用來調高價模型,但不限制次數和規模,所以第 2.1 節的服務端規模限制仍然必須有。
- 由於額度是軟上限,這道線允許“輕微越線”。它的意義在於把越線幅度控制在可接受範圍內,不能指望它做到零超支。
按項目拆分 Key、額度和日誌的通用做法屬於另一個話題,這裏只強調一點:試用流量單獨一把 Key。
2.3 第三道預算線:賬戶餘額告警
API易 的餘額告警文檔明確說明,告警是通知,不會攔截請求。餘額跌破閾值時,告警負責把消息推送給負責人,由人決定是充值、暫停試用入口,還是排查異常流量。
使用這一層時有兩個建議:
- 告警閾值按“從發現到處理所需時間內的最大消耗”來定,不要隨手設一個整數。
- 告警要關聯到具體的處置動作,例如在值班手冊裏寫明“收到告警後先關閉試用註冊入口”。只有通知、沒有後續動作的告警,形同虛設。
3 一個假設的併發賬本:原子預留到對賬
本節給出一個示意設計。表結構、價格和數字都是假設,用來說明流程,不代表任何系統的實測數據。流程共五步:
原子檢查並預留 → 服務端鎖定 model 與規模 → 發請求
→ 結算 / 失敗處理 → 離線對賬修正

3.1 預算賬本的表結構與狀態
示意的數據結構有兩張表:budgets 記錄每個用戶和試用池的上限、已花費、已預留;reservations 記錄每一筆預留及其狀態。
| 預留狀態 | 含義 | 對“可用餘量”的影響 |
|---|---|---|
| reserved | 已預留,請求在途 | 佔用預估金額 |
| settled | 拿到實際用量,已結算 | 轉爲已花費,釋放差額 |
| released | 確認請求未被執行 | 全額釋放 |
| unknown | 超時、斷連,費用未知 | 繼續佔用,等待對賬 |
可用餘量的計算方式是 limit - spent - reserved,其中 reserved 包括 unknown 狀態的預留。
3.2 原子檢查並預留:防止併發同時通過
關鍵在於把“檢查”和“佔用”合併成一條條件更新語句,靠數據庫保證原子性:
-- 示意:只有餘量足夠時才佔用,返回受影響行數
UPDATE budgets
SET reserved = reserved + :estimate
WHERE owner_id IN (:user_id, :pool_id)
AND limit_amount - spent - reserved >= :estimate;
-- 受影響行數必須等於 2(用戶與池都成功),否則回滾事務並拒絕請求
預估金額要取上限值:按輸入 token 數乘以輸入單價,再加上 max_tokens 乘以輸出單價。實際用量通常低於這個數,結算時把差額退回即可。寧可多佔一點,也不能少佔。
3.3 服務端鎖定 model 與任務規模
預留用到的估算參數,必須與真正發出的請求參數完全一致。示意代碼如下:
ALLOWED_TRIAL_MODELS = {"trial-model-a"} # 示意:試用開放的模型
MAX_OUTPUT_TOKENS = 1024 # 示意:服務端強制上限
MAX_INPUT_TOKENS = 8000
def build_trial_request(user_input, requested_model):
model = requested_model if requested_model in ALLOWED_TRIAL_MODELS \
else "trial-model-a"
input_tokens = count_tokens(user_input)
if input_tokens > MAX_INPUT_TOKENS:
raise InputTooLarge()
estimate = price_in(model) * input_tokens \
+ price_out(model) * MAX_OUTPUT_TOKENS
return model, MAX_OUTPUT_TOKENS, estimate
前端傳來的 max_tokens 和 model 只是參考值,最終以服務端裁定爲準。
3.4 發請求、結算與失敗處理
發請求前,生成一個唯一的請求 ID 寫入預留記錄,便於事後在日誌裏匹配。請求返回後分三種情況處理:
- 成功並拿到 usage:按實際用量計算金額,
spent += actual,reserved -= estimate,預留狀態改爲 settled。 - 明確未執行的失敗:例如參數校驗失敗、鑑權失敗這類能確認請求沒有進入計費的錯誤。此時釋放預留,狀態改爲 released。
- 超時或連接中斷:請求可能已經在上游執行併產生費用,只是結果沒有傳回來。此時不要把費用當作零,狀態記爲 unknown,預留保持佔用。
第 3 種情況最容易出錯。如果超時就直接釋放預留,等於把可能已經發生的費用從賬本里抹掉。在高併發、高超時率的時段,這種誤差會持續累積。
3.5 離線對賬:修正 unknown 與估算偏差
API易 的日誌查詢支持增量導出,文檔的定位是離線對賬,不能用作逐請求放行的依據。所以對賬應當做成定時任務:
- 拉取上次對賬以來的增量日誌,按請求 ID 或時間窗口與
reservations表匹配。 - 日誌中能找到的 unknown 預留,按日誌裏的實際金額改爲 settled;超過約定時間窗口仍找不到記錄的,再改爲 released。
- 統計“預估金額與實際金額”的偏差分佈。如果實際金額經常接近甚至超過預估,就要回頭檢查第 3.3 節的估算公式。
對賬結果同時也是給第三道預算線的輸入:賬本合計與賬戶實際消耗如果持續對不上,本身就是一個需要人工排查的信號。

4 預算線上線檢查與額度不足的友好提示
4.1 三道預算線上線檢查表
| 檢查項 | 歸屬預算線 | 驗收方式 |
|---|---|---|
| 用戶與池的預留在同一事務內完成 | 第一道 | 壓測併發請求,確認已花費加預留不超過上限 |
| model、max_tokens、輸入長度由服務端裁定 | 第一道 | 篡改前端參數,確認無效 |
| 超時請求記爲 unknown 且保持佔用 | 第一道 | 注入超時故障,檢查賬本狀態 |
| 對賬任務定時運行並處理 unknown | 第一道 | 檢查對賬日誌與狀態流轉 |
| 試用 Key 獨立、額度略高於池預算 | 第二道 | 覈對 Key 配置與池預算數值 |
| 試用 Key 模型白名單僅含試用模型 | 第二道 | 用非白名單模型調用,確認被拒 |
| 日額度重置腳本存在且有監控 | 第一、二道 | 檢查定時任務的執行記錄 |
| 餘額告警閾值與處置手冊對應 | 第三道 | 演練一次告警到關閉入口的流程 |
4.2 額度不足時的用戶提示
預留失敗時,應用應當返回明確的業務錯誤,不要讓請求落到網關後再報一個難以理解的錯誤。提示裏建議包含三項信息:
- 發生了什麼:例如“本日試用額度已用完”或“當前試用名額已滿”,用戶額度不足和試用池滿了要分開提示。
- 何時恢復:如果設置了日額度,告知重置時間;一次性額度用完的,說明後續可選的升級方式。
- 當前狀態:可以展示剩餘額度,但要基於賬本的可用餘量,並且把在途預留扣除在內,避免出現“顯示有餘額卻被拒絕”的情況。
完成上述檢查後,可以用一個簡單的方法驗收整套預算線:模擬一次併發高峯疊加上游超時,確認賬本中“已花費 + 在途預留”始終不低於對賬後的實際消耗,同時試用 Key 的消耗沒有顯著越過它的額度。兩條都滿足,這三道預算線纔算真正可用。
參考資料
- API易 令牌管理文檔:軟上限、remain_quota、日重置與模型白名單說明
- 鏈接:
docs.apiyi.com/api-capabilities/token-management
- 鏈接:
- API易 預扣額度說明:估算預扣與事後結算機制
- 鏈接:
docs.apiyi.com/faq/pre-deduction-quota
- 鏈接:
- API易 餘額告警說明:告警只通知、不攔截
- 鏈接:
docs.apiyi.com/faq/balance-alerts
- 鏈接:
- API易 日誌查詢文檔:增量導出與離線對賬
- 鏈接:
docs.apiyi.com/api-capabilities/log-query
- 鏈接:
- OWASP API Security Top 10 2023:API4 Unrestricted Resource Consumption
- 鏈接:
api-security.owasp.org/editions/2023/en/0xa4-unrestricted-resource-consumption/
- 鏈接:
凡事豫則立,不豫則廢。——《禮記·中庸》
