作者注：公开榜单分数可能被针对性抬高。本文讲清 benchmaxing 的成因，提供 5 项可信度检查，并给出用自有任务搭私有题单的 4 步做法。
先说结论：榜单分数可以作为调查起点，但不应直接拿来当选型结论。头部模型在综合榜单上常常只差几分，几分就可能让榜首易主。分差这么小，针对考题的优化就容易左右排名，这种现象被称为 benchmaxing。
真正决定选型的，是候选模型在你自己业务任务上的表现。本文不做模型排名，也不判断谁在“作弊”。内容分三部分：怎么识别分数是否虚高，怎么用真实工单搭一套小型私有题单，以及哪些场景下榜单本身就覆盖不到你关心的指标。
benchmaxing 是什么：榜单分数虚高的 3 种成因
据 MindStudio 2026-11-01 的文章，benchmaxing 指训练或调优模型时，目标是在已知基准测试上拿高分，而不是提升通用能力。它的典型表现是：模型在榜单上很亮眼，但遇到考察同一能力的新题，表现明显下滑。
| 成因 | 发生方式 | 识别线索 |
|---|---|---|
| 题目进了训练数据 | 基准题或高度相似的变体，有意或无意混入训练语料 | 原题得分高，改写题后得分下降 |
| 按题型微调 | 针对某个基准偏好的格式和推理套路做专门优化 | 只在单一榜单突出，其他榜单表现平平 |
| 公开题长期流传 | 题目在论坛、博客中被讨论，最终进入网页爬取数据 | 越老的公开基准，分数越接近饱和 |
benchmaxing 不一定出于恶意
原文特别指出，这三种情况都不需要主观恶意。实验室可能确实认为自己在提升通用推理能力，实际上却过拟合到了几个知名题型上。一个基准公开得越久，就越不像能力测量，越像一张模型提前做过的模拟卷。
所以判断时要看证据，不要看动机。你需要关心的是这个分数能否迁移到新题上，而不是去推测谁有意为之。
为什么会出现 benchmaxing：发布节奏与横评叙事
分数是实验室向投资人、开发者和公众证明进展的最简单方式，不需要开放完整的独立审计。“综合指数 59 分”这样的数字很容易写进新闻稿，也很容易和竞品的另一个数字放在一起比较。数字越简单，围绕它做优化的压力就越大。
第二个推力来自发布节奏。据 MindStudio 同一篇文章报道，Google Gemini 系列的一个模型在 Artificial Analysis Index 上得分 50，约一个月后同公司的后续模型得分 59 并登顶。这组数据目前只有这一个来源，本文没有独立复核。原文想说明的是：迭代以周计，头部差距以几分计，任何能拉开差距的手段都有吸引力。
读榜前先给事实分级
引用分数时，先弄清它属于哪一类。下表用本文涉及的案例做示范：
| 事实类型 | 本文案例 | 可信度处理 |
|---|---|---|
| 官方自报 / 口头预测 | 马斯克称 Grok 5 在 Humanity’s Last Exam 上可能“接近满分”；称 Grok 4 在该测试文本部分约 52% | 这是预测和自述，不是独立测试结果 |
| 第三方独立测试 | Artificial Analysis Index 综合推理、编程、科学、数学等测试 | 可作为参考信号，需标注引用日期 |
| 单一媒体报道 | Grok 4.7 的指数得分、Terminal-Bench 成绩，以及 Gemini 50→59 的变化 | 只有 MindStudio 一个来源，未独立复核 |
| 未知 | Artificial Analysis 转向私有题目的具体时间和覆盖范围 | 以其官方说明为准，本文不作推断 |
据 MindStudio 报道，Grok 4.7 在独立综合指数和 Terminal-Bench 上都落后于头部模型。原文把这种“公开预期与独立测试之间的落差”作为审视信号，并明确说明这不代表 xAI 比其他厂商更有问题。本文也只沿用这个用法，不下任何结论。
5 个信号判断榜单分数可信度
独立评测方的应对办法很直接：不公开题目。题目从未发布，就没有任何一方能针对它训练。据 MindStudio 报道，Artificial Analysis 等机构已经转向私有题目。同一能力类别下，公开分和私有新题分之间的落差，被认为是识别 benchmaxing 最诚实的信号之一。
结合原文建议，可以把判断方法整理成下面这张 5 项检查表：
| 序号 | 检查项 | 怎么查 | 加分信号 | 警惕信号 |
|---|---|---|---|---|
| 1 | 谁跑的 | 看结果来自厂商技术报告还是第三方评测页 | 第三方独立运行 | 只有厂商自报 |
| 2 | 题目是否公开过 | 查基准发布时间是否早于模型训练截止期 | 私有题或训练后新出的题 | 公开多年的老题 |
| 3 | 是否多榜一致 | 横看推理、编程、数学等多个基准 | 各榜排名大体一致 | 只在一个榜单上突出 |
| 4 | 同一能力换题掉不掉分 | 对比公开集和私有集、原题和改写题 | 换题后分差很小 | 换题后明显下滑 |
| 5 | 有没有第三方复现 | 搜索独立复现报告，并核对评测设置 | 多方复现、设置透明 | 无法复现或设置不公开 |
综合指数为什么更难刷
原文认为，Artificial Analysis Index 的价值在于把多类测试合成一个分数。过拟合单个测试是可能的，但同时过拟合推理、编程、科学、数学多个测试，而且其中部分题目不公开，难度就大得多。所以第 3 项“多榜一致”的权重可以放高一些。
用自有任务评测搭私有题单：4 步流程
榜单再干净，测的也是别人的题。最终选型要靠你自己的私有题单。它的天然优势是：没有任何实验室见过这些题。
| 步骤 | 做什么 | 具体做法 | 产出 |
|---|---|---|---|
| ① 取样 | 从真实业务里取题 | 真实工单、线上日志里的失败案例、用户投诉对话；按任务类型分层，每类 20–50 条起步 | 带标签的原始题集 |
| ② 定验收标准 | 先定什么算“够用” | 优先用可判定输出，如 JSON 字段、分类标签、单测是否通过；开放式回答用评分细则，并按固定比例人工抽检 | 评分脚本 + 评分细则 |
| ③ 跑多个模型 | 控制变量横向对比 | 同一提示词、同一参数、同一评分人或评分规则；记录得分、延迟、token 用量 | 对比结果表 |
| ④ 定期更新 | 防止题单变成新的模拟卷 | 按月补入新失败案例，淘汰所有模型都满分的题；保留一部分不参与调参的留出集 | 版本化题单 |
私有题单的取样与验收标准
取样时，失败案例比成功案例更有价值。日志里用户重问、人工接管、被标记为差评的对话，最能体现模型之间的差距。验收标准要在跑模型之前写好，否则容易看到结果后再倒推标准。
“够用”的定义要能落到数字上。例如“结构化抽取字段准确率达到某个阈值”，或者“客服回答经人工抽检无事实错误”。抽检比例按风险定：高风险业务可以抽得多一些，低风险任务以自动判定为主。
多模型对比如何控制变量
横向对比最常见的问题是变量没控住：给 A 模型用了精心调过的提示词，给 B 模型用了默认写法。正确做法是用同一套代码、同一份题单，只替换模型名。
如果候选模型来自多家厂商，要维护多套 SDK 会很麻烦。API易 兼容 OpenAI 格式，一个令牌可以调用多家模型，切换时只改 model 参数，适合在同一套评测脚本里跑同一份题单。具体配置如下：
- OpenAI 官方 Python SDK：初始化客户端时把
base_url设为https://api.apiyi.com/v1，api_key填平台令牌 - 评测循环中的模型切换：只修改
model字段，型号名以 API易 apiyi.com 型号列表为准 - 固定采样参数：所有模型统一设置
temperature=0和相同的max_tokens，减少随机性干扰 - 记录用量：读取响应里的
usage字段，汇总每个模型在题单上的 token 消耗
🚀 快速上手：建议先挑 3–4 个榜单靠前、且通过上面 5 项检查的模型作为候选。通过 API易 apiyi.com 用同一个令牌依次调用，一个下午就能在 50 条真实工单上拿到第一版对比结果。
避免自己也在针对题单调参
你自己同样可能 benchmaxing 自己的题单。反复调提示词直到某个模型在这 50 条上满分，本质上和厂商刷榜没有区别。可以用下面几条做防护：
- 拆出留出集：把约三成题目锁起来，调参只看开发集，最终决策看留出集
- 冻结提示词：进入正式对比后，提示词按版本号冻结，任何改动都重跑全部模型
- 轮换新题：每次更新题单时补入近期的新失败案例，让题单跟着业务变化
什么时候不该只看榜单分数
即使榜单分数完全可信，它也可能测不到你关心的东西。下面几类场景，榜单最多只能作为背景参考：
| 场景 | 榜单覆盖不到的原因 | 该补什么评测 |
|---|---|---|
| 长尾垂直任务 | 行业术语、内部格式、小语种很少出现在通用基准里 | 用业务原始数据组成的私有题单 |
| 工具调用与 Agent | 多步调用的稳定性、参数格式正确率，单轮问答测不出来 | 端到端任务成功率、函数调用格式错误率 |
| 成本与延迟 | 榜单只排能力，不考虑每次请求的花费和首字延迟 | 在题单上同时记录 token 用量和响应耗时 |
| 稳定性 | 单次跑分体现不了线上波动 | 同题多次运行，看结果的一致性 |
一个实用原则是：能力达标之后，比较的就是性价比和稳定性。榜单第一和第三在你的题单上可能都能达标，这时延迟更低、成本更可控的那个往往更合适。通过 API易 apiyi.com 统一接入后，可以在同一张结果表里并排比较能力、耗时和用量。
常见问题 FAQ
Q1：benchmaxing 是不是等于模型作弊？
不等于。题目进入训练数据可能是爬虫无意带入，按题型优化也可能是团队真心认为在提升推理能力。判断时只看“换题后分数能否保持”，不对动机下结论。
Q2：榜单分数什么情况下依然可靠？
符合以下条件时，分数仍然是有意义的信号：题目私有或在训练截止期之后才出现，由第三方独立运行，多个榜单结论一致，并且有人复现。综合多类测试的指数比单一基准更难被刷高。
Q3：私有题单至少需要多少条？
没有统一标准。经验上，每个任务类型先取 20–50 条真实样本，足以看出明显差距。差距不明显时再扩充题量，同时预留留出集。
Q4：怎么用一套代码对比多家模型？
使用 OpenAI 兼容接口最省事。通过 API易 apiyi.com 获取令牌后，把 `base_url` 指向平台地址，循环里只替换 `model` 参数，就能用同一份题单横向对比，可用型号以平台型号列表为准。
Q5：Grok 5 在 Humanity’s Last Exam 上接近满分吗？
截至本文日期，这是马斯克的公开预测，不是测试结果。如果未来真的出现这个分数，也建议按 5 项检查表核对，尤其是同一能力在私有新题上的表现，再结合 API易 apiyi.com 上的自有题单验证是否适合你的业务。
benchmaxing 与自有任务评测 Key Takeaways
- 定义：benchmaxing 指针对已知考题做优化，导致榜单分数高于真实能力
- 成因：题目进入训练数据、按题型微调、公开题长期流传，三者都不需要恶意
- 核心信号：同一能力换成新题后掉分，是最直接的警示
- 5 项检查：谁跑的、题目是否公开过、是否多榜一致、换题是否掉分、有无第三方复现
- 4 步题单：取样、定验收、跑多模型、定期更新，并保留留出集防止自我过拟合
- 统一调用：借助 API易 apiyi.com 的 OpenAI 兼容接口，切换模型只需修改
model参数
总结：榜单是调查起点，不是结论
今天就可以开始做三件事。第一，把手上关注的榜单分数逐条过一遍 5 项检查表，并标注事实类型和引用日期。第二，从最近一个月的日志里挑出 50 条失败案例，在跑模型之前写好验收标准。第三，用同一套代码、同一组参数，对 3–4 个候选模型跑一轮，同时记录得分、延迟和用量。
建议通过 API易 apiyi.com 用一个令牌完成多模型横向对比，以后每月更新一次题单。选型结论应该来自你自己的题单，而不是别人的考卷。
📚 参考资料
- MindStudio：What Is Benchmaxing？ Why AI Labs Are Hiding Test Questions（2026-11-01）
- 链接：
mindstudio.ai/blog/ai-benchmark-maxing-private-tests -
说明：benchmaxing 的定义、成因、私有题目趋势，以及文中 Gemini、Grok 相关数据的唯一来源
-
Artificial Analysis 官方站点：独立模型评测与综合指数
- 链接：
artificialanalysis.ai - 说明：转向私有题目的时间和范围请以其官方说明为准
作者：APIYI 技术团队
技术交流：欢迎在 API易 apiyi.com 网站首页联系我们，更多接入资料可访问 docs.apiyi.com 文档中心
