API Key 設了額度,爲什麼還可能超支?AI 試用的三道預算線

API Key 設了額度,爲什麼還可能超支?AI 試用的三道預算線

摘要:給 API Key 設了額度,費用仍可能超出預期。本文說明原因,並把 AI 試用的預算控制拆成三道有先後順序的預算線。

先說結論:網關上的 Key 額度是軟上限,在併發請求下不能當作硬賬單上限。以 API易 的令牌文檔爲例,額度在請求開始時檢查。多個請求同時通過檢查,或者單次請求本身價格很高,最終消耗都可能超過設定額度。

可靠的做法是分三層處理:

  1. 應用後端在發請求前完成檢查,並原子性地預留預算。
  2. 網關側給試用流量單獨發 Key,配上額度和模型白名單,縮小這把 Key 被濫用時的影響範圍。
  3. 賬戶餘額告警只負責通知,用來觸發人工響應。

這三層的職責互不替代。真正的預算準入發生在應用自己的賬本里。

api-key-quota-overspend-three-budget-lines-zh-hant-image-0


知識地圖與索引:三道預算線的先後與分工

下表同時承擔知識地圖和索引的作用。它列出三道預算線按什麼順序生效、各自負責什麼、爲什麼這樣安排,以及對應的正文編號。

順序 預算線 負責什麼 爲什麼放在這個位置 目標 正文
前提 理解軟額度 區分請求前檢查、預扣和實扣 不清楚扣費時序,後面三層就無從設計 明白超支是怎麼發生的 1、1.1
第一道 應用後端預算 按用戶和試用池做原子預留與結算 只有應用知道“誰在用、能用多少” 讓超支在發請求前被攔下 2.1、3
第二道 獨立試用 Key 額度、模型白名單、與正式流量隔離 應用出 bug 時,網關是第二層邊界 縮小單把 Key 的暴露面 2.2
第三道 賬戶餘額告警 餘額低於閾值時通知 告警是事後信號,沒有攔截能力 讓人及時介入 2.3
落地 併發賬本與上線檢查 預留、結算、失敗處理、對賬、友好提示 把前面的原則落成可驗證的流程 上線前能逐項驗收 3、4

閱讀順序建議:先讀第 1 節理解時序,再讀第 2 節明確分工,第 3 節是實現部分。第 4 節適合上線前單獨對照使用。


To Know:理解預算線前的必要術語

術語 簡明解釋
軟上限 請求開始時檢查額度,檢查通過後不保證總消耗不越線
預扣 網關按估算先扣一部分額度,請求結束後按實際用量結算
原子預留 用單條不可分割的操作完成“檢查餘量並佔用”,防止併發請求同時通過
在途預留 請求已發出、實際費用還沒確認時,賬本里仍處於佔用狀態的那部分預算
remain_quota API易 令牌的一次性總額度字段,文檔口徑爲 500000 對應 $1
對賬 用網關日誌與自有賬本逐條覈對,修正估算與實際之間的偏差

1 API Key 額度爲何可能被併發超出

API易 令牌文檔對這一點寫得很明確:Key 額度是軟上限,在請求開始時檢查。所以併發請求,或者單次高價請求,都可能讓實際消耗超過設定額度。這是“開始時檢查、結束時結算”這種計費結構本身的特性,和某個平臺有沒有 bug 沒有關係。

可以用一個假設場景來理解(數字均爲示意,非實測)。某試用 Key 剩餘額度摺合 $1,同一時刻湧入 20 個請求。每個請求在開始時看到的都是“餘額爲正”,於是全部放行。等它們陸續結束、按實際用量結算時,總消耗已經遠超 $1。就算沒有併發,一次長上下文加大輸出的請求,單次費用也可能超過剩餘額度。

還有兩個常見誤解需要說明:

  • 額度不會每天自動恢復。文檔說明 remain_quota 是一次性總額度,“每天重置”需要應用方自己寫定時腳本實現。
  • 模型白名單不等於費用上限。它只限制能調哪些模型,對同一模型的調用次數和每次的規模沒有約束。

api-key-quota-overspend-three-budget-lines-zh-hant-image-1

1.1 API Key 額度的三個時點:請求前檢查、預估與實扣

一次調用在計費上有三個時點,各自回答的問題不同:

時點 發生在哪 回答的問題 能否作爲硬上限
請求前檢查 網關,請求開始時 這把 Key 此刻還有沒有餘量 不能,併發下會同時通過
預估與預扣 網關,基於估算 這次請求大概要佔多少 不能,估算與實際有偏差
實際扣費 網關,請求結束後 這次請求實際用了多少 事後數據,無法用來准入

API易 關於預扣額度的說明是:網關基於估算預扣,事後按實際用量結算,這一機制不替代業務側的原子預留。網關的預扣是爲了自身計費,並不知道你的某個用戶今天還剩多少試用額度。所以“這個用戶能不能再發一次請求”這個問題,只能由應用後端回答。


2 AI 試用的三道預算線

三道線分別面向三類風險:業務邏輯層面的超額使用、Key 層面的濫用或泄露、賬戶層面的餘額耗盡。OWASP API Security Top 10(2023)中的 API4「Unrestricted Resource Consumption」講的也是同一類問題:沒有對資源消耗設置限制的接口,會帶來服務和成本兩方面的風險。對 AI 接口來說,成本風險往往更直接。

2.1 第一道預算線:應用後端的用戶與試用池預算

這是唯一能做“准入”的一層,需要管兩個層級:

  • 用戶級預算:每個試用用戶的總額度,或者日額度。日額度靠應用自己的定時任務重置,不依賴網關。
  • 試用池預算:所有試用用戶共享的總上限。即便單個用戶都沒超限,用戶數激增時總成本也要有封頂。

一個請求要同時通過用戶級和池級的預留才能放行,並且兩者必須在同一個原子操作或同一個事務裏完成。否則還會出現“用戶預留成功、池子已經滿了”的競態。

這一層還要在服務端決定請求的規模:允許用哪個模型、max_tokens 上限是多少、輸入長度不能超過多少。這些參數不能交給前端傳入後直接透傳,否則用戶只要改一個參數,預估金額就失真了。

2.2 第二道預算線:獨立試用 Key、額度與模型白名單

網關側給試用流量單獨發一把 Key,與正式流量完全隔離。這把 Key 的職責是限制暴露面:應用賬本出了 bug,或者 Key 被泄露時,損失被限制在這把 Key 的額度之內,不會波及正式業務。

配置時要注意:

  • 額度按“試用池預算 + 一定緩衝”來設。它應該比應用側的池預算略高,作爲兜底存在,不要和池預算設得一樣,否則應用層的預留形同虛設。
  • 模型白名單隻放試用開放的模型。它能防止試用 Key 被用來調高價模型,但不限制次數和規模,所以第 2.1 節的服務端規模限制仍然必須有。
  • 由於額度是軟上限,這道線允許“輕微越線”。它的意義在於把越線幅度控制在可接受範圍內,不能指望它做到零超支。

按項目拆分 Key、額度和日誌的通用做法屬於另一個話題,這裏只強調一點:試用流量單獨一把 Key。

2.3 第三道預算線:賬戶餘額告警

API易 的餘額告警文檔明確說明,告警是通知,不會攔截請求。餘額跌破閾值時,告警負責把消息推送給負責人,由人決定是充值、暫停試用入口,還是排查異常流量。

使用這一層時有兩個建議:

  • 告警閾值按“從發現到處理所需時間內的最大消耗”來定,不要隨手設一個整數。
  • 告警要關聯到具體的處置動作,例如在值班手冊裏寫明“收到告警後先關閉試用註冊入口”。只有通知、沒有後續動作的告警,形同虛設。

3 一個假設的併發賬本:原子預留到對賬

本節給出一個示意設計。表結構、價格和數字都是假設,用來說明流程,不代表任何系統的實測數據。流程共五步:

原子檢查並預留 → 服務端鎖定 model 與規模 → 發請求
      → 結算 / 失敗處理 → 離線對賬修正

api-key-quota-overspend-three-budget-lines-zh-hant-image-2

3.1 預算賬本的表結構與狀態

示意的數據結構有兩張表:budgets 記錄每個用戶和試用池的上限、已花費、已預留;reservations 記錄每一筆預留及其狀態。

預留狀態 含義 對“可用餘量”的影響
reserved 已預留,請求在途 佔用預估金額
settled 拿到實際用量,已結算 轉爲已花費,釋放差額
released 確認請求未被執行 全額釋放
unknown 超時、斷連,費用未知 繼續佔用,等待對賬

可用餘量的計算方式是 limit - spent - reserved,其中 reserved 包括 unknown 狀態的預留。

3.2 原子檢查並預留:防止併發同時通過

關鍵在於把“檢查”和“佔用”合併成一條條件更新語句,靠數據庫保證原子性:

-- 示意:只有餘量足夠時才佔用,返回受影響行數
UPDATE budgets
SET reserved = reserved + :estimate
WHERE owner_id IN (:user_id, :pool_id)
  AND limit_amount - spent - reserved >= :estimate;
-- 受影響行數必須等於 2(用戶與池都成功),否則回滾事務並拒絕請求

預估金額要取上限值:按輸入 token 數乘以輸入單價,再加上 max_tokens 乘以輸出單價。實際用量通常低於這個數,結算時把差額退回即可。寧可多佔一點,也不能少佔。

3.3 服務端鎖定 model 與任務規模

預留用到的估算參數,必須與真正發出的請求參數完全一致。示意代碼如下:

ALLOWED_TRIAL_MODELS = {"trial-model-a"}   # 示意:試用開放的模型
MAX_OUTPUT_TOKENS = 1024                   # 示意:服務端強制上限
MAX_INPUT_TOKENS = 8000

def build_trial_request(user_input, requested_model):
    model = requested_model if requested_model in ALLOWED_TRIAL_MODELS \
        else "trial-model-a"
    input_tokens = count_tokens(user_input)
    if input_tokens > MAX_INPUT_TOKENS:
        raise InputTooLarge()
    estimate = price_in(model) * input_tokens \
             + price_out(model) * MAX_OUTPUT_TOKENS
    return model, MAX_OUTPUT_TOKENS, estimate

前端傳來的 max_tokens 和 model 只是參考值,最終以服務端裁定爲準。

3.4 發請求、結算與失敗處理

發請求前,生成一個唯一的請求 ID 寫入預留記錄,便於事後在日誌裏匹配。請求返回後分三種情況處理:

  1. 成功並拿到 usage:按實際用量計算金額,spent += actual,reserved -= estimate,預留狀態改爲 settled。
  2. 明確未執行的失敗:例如參數校驗失敗、鑑權失敗這類能確認請求沒有進入計費的錯誤。此時釋放預留,狀態改爲 released。
  3. 超時或連接中斷:請求可能已經在上游執行併產生費用,只是結果沒有傳回來。此時不要把費用當作零,狀態記爲 unknown,預留保持佔用。

第 3 種情況最容易出錯。如果超時就直接釋放預留,等於把可能已經發生的費用從賬本里抹掉。在高併發、高超時率的時段,這種誤差會持續累積。

3.5 離線對賬:修正 unknown 與估算偏差

API易 的日誌查詢支持增量導出,文檔的定位是離線對賬,不能用作逐請求放行的依據。所以對賬應當做成定時任務:

  • 拉取上次對賬以來的增量日誌,按請求 ID 或時間窗口與 reservations 表匹配。
  • 日誌中能找到的 unknown 預留,按日誌裏的實際金額改爲 settled;超過約定時間窗口仍找不到記錄的,再改爲 released。
  • 統計“預估金額與實際金額”的偏差分佈。如果實際金額經常接近甚至超過預估,就要回頭檢查第 3.3 節的估算公式。

對賬結果同時也是給第三道預算線的輸入:賬本合計與賬戶實際消耗如果持續對不上,本身就是一個需要人工排查的信號。

api-key-quota-overspend-three-budget-lines-zh-hant-image-3


4 預算線上線檢查與額度不足的友好提示

4.1 三道預算線上線檢查表

檢查項 歸屬預算線 驗收方式
用戶與池的預留在同一事務內完成 第一道 壓測併發請求,確認已花費加預留不超過上限
model、max_tokens、輸入長度由服務端裁定 第一道 篡改前端參數,確認無效
超時請求記爲 unknown 且保持佔用 第一道 注入超時故障,檢查賬本狀態
對賬任務定時運行並處理 unknown 第一道 檢查對賬日誌與狀態流轉
試用 Key 獨立、額度略高於池預算 第二道 覈對 Key 配置與池預算數值
試用 Key 模型白名單僅含試用模型 第二道 用非白名單模型調用,確認被拒
日額度重置腳本存在且有監控 第一、二道 檢查定時任務的執行記錄
餘額告警閾值與處置手冊對應 第三道 演練一次告警到關閉入口的流程

4.2 額度不足時的用戶提示

預留失敗時,應用應當返回明確的業務錯誤,不要讓請求落到網關後再報一個難以理解的錯誤。提示裏建議包含三項信息:

  • 發生了什麼:例如“本日試用額度已用完”或“當前試用名額已滿”,用戶額度不足和試用池滿了要分開提示。
  • 何時恢復:如果設置了日額度,告知重置時間;一次性額度用完的,說明後續可選的升級方式。
  • 當前狀態:可以展示剩餘額度,但要基於賬本的可用餘量,並且把在途預留扣除在內,避免出現“顯示有餘額卻被拒絕”的情況。

完成上述檢查後,可以用一個簡單的方法驗收整套預算線:模擬一次併發高峯疊加上游超時,確認賬本中“已花費 + 在途預留”始終不低於對賬後的實際消耗,同時試用 Key 的消耗沒有顯著越過它的額度。兩條都滿足,這三道預算線纔算真正可用。


參考資料

  1. API易 令牌管理文檔:軟上限、remain_quota、日重置與模型白名單說明
    • 鏈接: docs.apiyi.com/api-capabilities/token-management
  2. API易 預扣額度說明:估算預扣與事後結算機制
    • 鏈接: docs.apiyi.com/faq/pre-deduction-quota
  3. API易 餘額告警說明:告警只通知、不攔截
    • 鏈接: docs.apiyi.com/faq/balance-alerts
  4. API易 日誌查詢文檔:增量導出與離線對賬
    • 鏈接: docs.apiyi.com/api-capabilities/log-query
  5. OWASP API Security Top 10 2023:API4 Unrestricted Resource Consumption
    • 鏈接: api-security.owasp.org/editions/2023/en/0xa4-unrestricted-resource-consumption/

凡事豫則立,不豫則廢。——《禮記·中庸》

Similar Posts