作者注：公開榜單分數可能被針對性抬高。本文講清 benchmaxing 的成因，提供 5 項可信度檢查，並給出用自有任務搭私有題單的 4 步做法。
先說結論：榜單分數可以作爲調查起點，但不應直接拿來當選型結論。頭部模型在綜合榜單上常常只差幾分，幾分就可能讓榜首易主。分差這麼小，針對考題的優化就容易左右排名，這種現象被稱爲 benchmaxing。
真正決定選型的，是候選模型在你自己業務任務上的表現。本文不做模型排名，也不判斷誰在“作弊”。內容分三部分：怎麼識別分數是否虛高，怎麼用真實工單搭一套小型私有題單，以及哪些場景下榜單本身就覆蓋不到你關心的指標。
benchmaxing 是什麼：榜單分數虛高的 3 種成因
據 MindStudio 2026-11-01 的文章，benchmaxing 指訓練或調優模型時，目標是在已知基準測試上拿高分，而不是提升通用能力。它的典型表現是：模型在榜單上很亮眼，但遇到考察同一能力的新題，表現明顯下滑。
| 成因 | 發生方式 | 識別線索 |
|---|---|---|
| 題目進了訓練數據 | 基準題或高度相似的變體，有意或無意混入訓練語料 | 原題得分高，改寫題後得分下降 |
| 按題型微調 | 針對某個基準偏好的格式和推理套路做專門優化 | 只在單一榜單突出，其他榜單表現平平 |
| 公開題長期流傳 | 題目在論壇、博客中被討論，最終進入網頁爬取數據 | 越老的公開基準，分數越接近飽和 |
benchmaxing 不一定出於惡意
原文特別指出，這三種情況都不需要主觀惡意。實驗室可能確實認爲自己在提升通用推理能力，實際上卻過擬合到了幾個知名題型上。一個基準公開得越久，就越不像能力測量，越像一張模型提前做過的模擬卷。
所以判斷時要看證據，不要看動機。你需要關心的是這個分數能否遷移到新題上，而不是去推測誰有意爲之。
爲什麼會出現 benchmaxing：發佈節奏與橫評敘事
分數是實驗室向投資人、開發者和公衆證明進展的最簡單方式，不需要開放完整的獨立審計。“綜合指數 59 分”這樣的數字很容易寫進新聞稿，也很容易和競品的另一個數字放在一起比較。數字越簡單，圍繞它做優化的壓力就越大。
第二個推力來自發布節奏。據 MindStudio 同一篇文章報道，Google Gemini 系列的一個模型在 Artificial Analysis Index 上得分 50，約一個月後同公司的後續模型得分 59 並登頂。這組數據目前只有這一個來源，本文沒有獨立複覈。原文想說明的是：迭代以周計，頭部差距以幾分計，任何能拉開差距的手段都有吸引力。
讀榜前先給事實分級
引用分數時，先弄清它屬於哪一類。下表用本文涉及的案例做示範：
| 事實類型 | 本文案例 | 可信度處理 |
|---|---|---|
| 官方自報 / 口頭預測 | 馬斯克稱 Grok 5 在 Humanity’s Last Exam 上可能“接近滿分”；稱 Grok 4 在該測試文本部分約 52% | 這是預測和自述，不是獨立測試結果 |
| 第三方獨立測試 | Artificial Analysis Index 綜合推理、編程、科學、數學等測試 | 可作爲參考信號，需標註引用日期 |
| 單一媒體報道 | Grok 4.7 的指數得分、Terminal-Bench 成績，以及 Gemini 50→59 的變化 | 只有 MindStudio 一個來源，未獨立複覈 |
| 未知 | Artificial Analysis 轉向私有題目的具體時間和覆蓋範圍 | 以其官方說明爲準，本文不作推斷 |
據 MindStudio 報道，Grok 4.7 在獨立綜合指數和 Terminal-Bench 上都落後於頭部模型。原文把這種“公開預期與獨立測試之間的落差”作爲審視信號，並明確說明這不代表 xAI 比其他廠商更有問題。本文也只沿用這個用法，不下任何結論。
5 個信號判斷榜單分數可信度
獨立評測方的應對辦法很直接：不公開題目。題目從未發佈，就沒有任何一方能針對它訓練。據 MindStudio 報道，Artificial Analysis 等機構已經轉向私有題目。同一能力類別下，公開分和私有新題分之間的落差，被認爲是識別 benchmaxing 最誠實的信號之一。
結合原文建議，可以把判斷方法整理成下面這張 5 項檢查表：
| 序號 | 檢查項 | 怎麼查 | 加分信號 | 警惕信號 |
|---|---|---|---|---|
| 1 | 誰跑的 | 看結果來自廠商技術報告還是第三方評測頁 | 第三方獨立運行 | 只有廠商自報 |
| 2 | 題目是否公開過 | 查基準發佈時間是否早於模型訓練截止期 | 私有題或訓練後新出的題 | 公開多年的老題 |
| 3 | 是否多榜一致 | 橫看推理、編程、數學等多個基準 | 各榜排名大體一致 | 只在一個榜單上突出 |
| 4 | 同一能力換題掉不掉分 | 對比公開集和私有集、原題和改寫題 | 換題後分差很小 | 換題後明顯下滑 |
| 5 | 有沒有第三方復現 | 搜索獨立復現報告，並覈對評測設置 | 多方復現、設置透明 | 無法復現或設置不公開 |
綜合指數爲什麼更難刷
原文認爲，Artificial Analysis Index 的價值在於把多類測試合成一個分數。過擬合單個測試是可能的，但同時過擬合推理、編程、科學、數學多個測試，而且其中部分題目不公開，難度就大得多。所以第 3 項“多榜一致”的權重可以放高一些。
用自有任務評測搭私有題單：4 步流程
榜單再幹淨，測的也是別人的題。最終選型要靠你自己的私有題單。它的天然優勢是：沒有任何實驗室見過這些題。
| 步驟 | 做什麼 | 具體做法 | 產出 |
|---|---|---|---|
| ① 取樣 | 從真實業務裏取題 | 真實工單、線上日誌裏的失敗案例、用戶投訴對話；按任務類型分層，每類 20–50 條起步 | 帶標籤的原始題集 |
| ② 定驗收標準 | 先定什麼算“夠用” | 優先用可判定輸出，如 JSON 字段、分類標籤、單測是否通過；開放式回答用評分細則，並按固定比例人工抽檢 | 評分腳本 + 評分細則 |
| ③ 跑多個模型 | 控制變量橫向對比 | 同一提示詞、同一參數、同一評分人或評分規則；記錄得分、延遲、token 用量 | 對比結果表 |
| ④ 定期更新 | 防止題單變成新的模擬卷 | 按月補入新失敗案例，淘汰所有模型都滿分的題；保留一部分不參與調參的留出集 | 版本化題單 |
私有題單的取樣與驗收標準
取樣時，失敗案例比成功案例更有價值。日誌裏用戶重問、人工接管、被標記爲差評的對話，最能體現模型之間的差距。驗收標準要在跑模型之前寫好，否則容易看到結果後再倒推標準。
“夠用”的定義要能落到數字上。例如“結構化抽取字段準確率達到某個閾值”，或者“客服回答經人工抽檢無事實錯誤”。抽檢比例按風險定：高風險業務可以抽得多一些，低風險任務以自動判定爲主。
多模型對比如何控制變量
橫向對比最常見的問題是變量沒控住：給 A 模型用了精心調過的提示詞，給 B 模型用了默認寫法。正確做法是用同一套代碼、同一份題單，只替換模型名。
如果候選模型來自多家廠商，要維護多套 SDK 會很麻煩。API易 兼容 OpenAI 格式，一個令牌可以調用多家模型，切換時只改 model 參數，適合在同一套評測腳本里跑同一份題單。具體配置如下：
- OpenAI 官方 Python SDK：初始化客戶端時把
base_url設爲https://api.apiyi.com/v1，api_key填平臺令牌 - 評測循環中的模型切換：只修改
model字段，型號名以 API易 apiyi.com 型號列表爲準 - 固定採樣參數：所有模型統一設置
temperature=0和相同的max_tokens，減少隨機性干擾 - 記錄用量：讀取響應裏的
usage字段，彙總每個模型在題單上的 token 消耗
🚀 快速上手：建議先挑 3–4 個榜單靠前、且通過上面 5 項檢查的模型作爲候選。通過 API易 apiyi.com 用同一個令牌依次調用，一個下午就能在 50 條真實工單上拿到第一版對比結果。
避免自己也在針對題單調參
你自己同樣可能 benchmaxing 自己的題單。反覆調提示詞直到某個模型在這 50 條上滿分，本質上和廠商刷榜沒有區別。可以用下面幾條做防護：
- 拆出留出集：把約三成題目鎖起來，調參只看開發集，最終決策看留出集
- 凍結提示詞：進入正式對比後，提示詞按版本號凍結，任何改動都重跑全部模型
- 輪換新題：每次更新題單時補入近期的新失敗案例，讓題單跟着業務變化
什麼時候不該只看榜單分數
即使榜單分數完全可信，它也可能測不到你關心的東西。下面幾類場景，榜單最多隻能作爲背景參考：
| 場景 | 榜單覆蓋不到的原因 | 該補什麼評測 |
|---|---|---|
| 長尾垂直任務 | 行業術語、內部格式、小語種很少出現在通用基準裏 | 用業務原始數據組成的私有題單 |
| 工具調用與 Agent | 多步調用的穩定性、參數格式正確率，單輪問答測不出來 | 端到端任務成功率、函數調用格式錯誤率 |
| 成本與延遲 | 榜單隻排能力，不考慮每次請求的花費和首字延遲 | 在題單上同時記錄 token 用量和響應耗時 |
| 穩定性 | 單次跑分體現不了線上波動 | 同題多次運行，看結果的一致性 |
一個實用原則是：能力達標之後，比較的就是性價比和穩定性。榜單第一和第三在你的題單上可能都能達標，這時延遲更低、成本更可控的那個往往更合適。通過 API易 apiyi.com 統一接入後，可以在同一張結果表裏並排比較能力、耗時和用量。
常見問題 FAQ
Q1：benchmaxing 是不是等於模型作弊？
不等於。題目進入訓練數據可能是爬蟲無意帶入，按題型優化也可能是團隊真心認爲在提升推理能力。判斷時只看“換題後分數能否保持”，不對動機下結論。
Q2：榜單分數什麼情況下依然可靠？
符合以下條件時，分數仍然是有意義的信號：題目私有或在訓練截止期之後纔出現，由第三方獨立運行，多個榜單結論一致，並且有人復現。綜合多類測試的指數比單一基準更難被刷高。
Q3：私有題單至少需要多少條？
沒有統一標準。經驗上，每個任務類型先取 20–50 條真實樣本，足以看出明顯差距。差距不明顯時再擴充題量，同時預留留出集。
Q4：怎麼用一套代碼對比多家模型？
使用 OpenAI 兼容接口最省事。通過 API易 apiyi.com 獲取令牌後，把 `base_url` 指向平臺地址，循環裏只替換 `model` 參數，就能用同一份題單橫向對比，可用型號以平臺型號列表爲準。
Q5：Grok 5 在 Humanity’s Last Exam 上接近滿分嗎？
截至本文日期，這是馬斯克的公開預測，不是測試結果。如果未來真的出現這個分數，也建議按 5 項檢查表覈對，尤其是同一能力在私有新題上的表現，再結合 API易 apiyi.com 上的自有題單驗證是否適合你的業務。
benchmaxing 與自有任務評測 Key Takeaways
- 定義：benchmaxing 指針對已知考題做優化，導致榜單分數高於真實能力
- 成因：題目進入訓練數據、按題型微調、公開題長期流傳，三者都不需要惡意
- 核心信號：同一能力換成新題後掉分，是最直接的警示
- 5 項檢查：誰跑的、題目是否公開過、是否多榜一致、換題是否掉分、有無第三方復現
- 4 步題單：取樣、定驗收、跑多模型、定期更新，並保留留出集防止自我過擬合
- 統一調用：藉助 API易 apiyi.com 的 OpenAI 兼容接口，切換模型只需修改
model參數
總結：榜單是調查起點，不是結論
今天就可以開始做三件事。第一，把手上關注的榜單分數逐條過一遍 5 項檢查表，並標註事實類型和引用日期。第二，從最近一個月的日誌裏挑出 50 條失敗案例，在跑模型之前寫好驗收標準。第三，用同一套代碼、同一組參數，對 3–4 個候選模型跑一輪，同時記錄得分、延遲和用量。
建議通過 API易 apiyi.com 用一個令牌完成多模型橫向對比，以後每月更新一次題單。選型結論應該來自你自己的題單，而不是別人的考卷。
📚 參考資料
- MindStudio：What Is Benchmaxing？ Why AI Labs Are Hiding Test Questions（2026-11-01）
- 鏈接：
mindstudio.ai/blog/ai-benchmark-maxing-private-tests -
說明：benchmaxing 的定義、成因、私有題目趨勢，以及文中 Gemini、Grok 相關數據的唯一來源
-
Artificial Analysis 官方站點：獨立模型評測與綜合指數
- 鏈接：
artificialanalysis.ai - 說明：轉向私有題目的時間和範圍請以其官方說明爲準
作者：APIYI 技術團隊
技術交流：歡迎在 API易 apiyi.com 網站首頁聯繫我們，更多接入資料可訪問 docs.apiyi.com 文檔中心
