作者注：斯坦福研究发现 44% 的 LLM 流行结论已经过期，平均寿命只有 15.7 个月。本文把这项研究转化为开发团队可以直接使用的模型选型复测清单。
“某模型数不清 strawberry 里有几个 r”“长上下文中间的信息会丢”“模型爱编造参考文献”，这些说法你可能在论文、技术群和选型会上反复听过。斯坦福研究者 Owen Queen 和 James Zou 用 20 个模型重新检验了 50 条被广泛引用的 LLM 结论，发现 44% 已经过期，有估算过期时间的结论平均只能维持 15.7 个月。
这不是又一篇“模型越来越强”的泛泛感慨。 研究给出了明确的数据：哪类结论过期最快，哪类更持久，以及同一代模型之间差距有多大。本文会把研究者写给学术界的建议，改写成开发团队选模型时可以照着执行的流程。
核心价值：读完本文，你会知道哪些“模型不擅长 X”的说法最不可靠，并建立一套“记录模型名、版本、日期，保留提示词，在目标模型上复测”的选型习惯。
LLM 结论过期研究核心要点
先用一张表看清这项研究最关键的几个数字。研究使用的模型发布于 2024 年 7 月至 2026 年 9 月，来自 8 家不同的开发方，相关报道发布于 2026 年 11 月 3 日。
| 要点 | 研究数据 | 对选型的意义 |
|---|---|---|
| 结论过期比例 | 50 条结论中 44% 已过期，34% 明显减弱 | 网上流传的模型缺陷，多数已不能直接引用 |
| 仍然成立的比例 | 仅 16% 保持，6% 反而增强 | 少数“顽固”倾向值得长期关注 |
| 平均寿命 | 22 条可估算过期时间的结论，平均 15.7 个月 | 一年多前的测评结论需要默认打折扣 |
| 随时间累积 | 一年后 16% 过期，两年后升至 39% | 结论越老，越需要复测 |
| 同代模型差异 | 2026 年 7–9 月发布的模型，过期结论数从 11 到 30 不等 | 不能用发布时间推断能力 |
LLM 结论过期的两个关键发现
第一个关键发现是“过期”的含义。研究中的“过期”指的是，原始结论背后的效应在新模型上已经基本消失，而不只是程度上有所改善。另有 34% 的结论处于“明显减弱”状态，说明问题还在，但幅度已经远不如原始论文描述的那样严重。把两者加起来，接近八成的流行结论已经不能按原样用于今天的模型。
第二个关键发现是，结论的“寿命”和它的类型强相关。描述模型“做不到什么”的能力缺陷类结论过期最快，描述模型“倾向于怎么做”的偏好类结论则更持久。研究者的解释是：能力类错误通常有一个“正确答案”，开发方有明确的训练目标可以去优化；偏好和倾向则没有标准答案，自然更难被“修掉”。
哪些 LLM 结论最容易过期
理解结论类型，是决定复测优先级的前提。下面这张表根据研究报道内容，把典型结论分成“容易过期”和“相对持久”两类。
| 结论类型 | 典型例子 | 研究中的状态 | 复测优先级 |
|---|---|---|---|
| 推理与能力缺陷 | 数 strawberry 中的字母、陌生进制下的算术、长上下文中间信息丢失、被用户反驳后放弃正确答案 | 9 条推理结论中 5 条过期，没有一条保持或增强 | 最高：引用前必须复测 |
| 事实性与幻觉 | 编造科学参考文献 | 部分模型已降至接近 0，个别模型仍很高 | 高：差异极大，必须逐个测 |
| 组合推理 | 两跳问题、“反转诅咒”、成对时间问题答案矛盾 | 已减弱但仍可检测 | 中高：问题仍在，幅度变化大 |
| 作为评审者的偏好 | 偏爱自己的答案、对录用和拒稿论文打分相近、被医学摘要的措辞包装影响 | 保持或增强 | 中：长期风险，但需定期确认 |
| 谄媚与迎合用户 | 顺着用户观点说话 | 在保持或增强的结论中占比较高 | 中：涉及客服、顾问类应用时优先 |
| 输出分布倾向 | 左倾政治偏向、开放问题答案高度雷同、生成随机数分布不均 | 保持或增强 | 中：做内容生成、抽样时需注意 |
需要说明的是，关于推理类结论，报道正文写的是“9 条中 5 条过期，且没有一条保持或增强”，图注则称“全部 9 条均已消退”。两者结合起来理解，应当是 5 条已过期、其余几条也已减弱，没有一条维持原样。由于我们未能看到原论文的完整 50 条结论清单和复测方法，具体分类以原论文为准。
LLM 偏好类结论为什么更持久
在 11 条保持或增强的结论里，有 3 条和“LLM 当评审者”有关，3 条和谄媚迎合有关，其余涉及政治倾向、开放问题回答雷同以及随机数分布不均。这些问题有一个共同点：很难定义什么是“对”的输出，因此也很难通过针对性训练消除。
对开发团队来说，这意味着一种反直觉的风险排序。大家最常挂在嘴边的“模型数不清字母”往往早已不是问题，而真正值得警惕的，反倒是那些不那么显眼的系统性倾向。如果你在用 LLM 做自动评审、打分或推荐，偏好类问题应当被列入常规回归测试。
社会偏见类 LLM 结论是混合情况
研究者特别指出，社会偏见类结论的走向并不一致。左倾政治偏向依然存在，性别刻板印象和内隐联想偏见已经减弱，而针对非裔美国人英语使用者的偏见在趋势数据中甚至出现了方向反转。这再次说明，任何“模型普遍存在某种偏见”的笼统说法，都必须落到具体模型、具体时间点上才有意义。
为什么不能按厂商或发布时间推断 LLM 表现
很多团队选型时有一种朴素直觉：新模型一定比旧模型好，同一家厂商的模型表现会相近，大模型一定比小模型稳。研究数据直接否定了这种推断方式。
最典型的案例是参考文献编造测试。2023 年 Walters 和 Wilder 的原始研究中，GPT-3.5 编造了 55% 的参考文献。斯坦福研究者用同样的提示词测试当前模型，GPT-6.1 Sol 为 0%，Claude Sonnet 5.5 为 1%，而同为 2026 年发布的 Qwen3.7-Flash 仍有 69% 的参考文献是编造的，甚至高于三年前的 GPT-3.5。
同一发布窗口内的差异同样惊人。在 2026 年 7 月至 9 月发布的模型中，被“推翻”的结论数量从 DeepSeek V4 Pro 的 11 条到 GPT-6.1 Sol 的 30 条不等。研究明确指出，发布日期、厂商和模型规模都不能可靠地预测这种模式。
这张对比图想传达的核心信息是：同一年代的模型，在同一项测试上可能处于两个极端。如果你要在团队内部复现这类对比，可以通过 API易 apiyi.com 这类统一接口平台，用同一组提示词在多个候选模型上跑一遍，具体可用模型请以平台官方模型列表为准。
此外，研究者也提醒不要把改善读成“问题已彻底解决”。在两跳问题（需要组合两个已知事实）上，Claude Sonnet 5.5 在能分别答对两个子问题的情况下，仍有约 10% 的组合问题答错，而原始论文报告的 ChatGPT 数据是 43%。数字确实大幅下降了，但如果你的业务依赖多步事实组合，这 10% 依然足以造成线上事故。
LLM 选型复测快速上手：5 步清单
研究者给学术界的建议是：把关于 LLM 的经验结论当作“对特定模型在特定时间点的观察”，而不是普遍真理；论文应记录模型、版本和日期，并公开提示词和分析代码，方便在未来模型上复测。这套建议几乎可以原样搬到开发团队的选型流程中。
第 1 步：给每条 LLM 结论补齐元数据
无论结论来自论文、博客、同事经验还是你自己的测试，都要先补齐下表中的字段。缺少关键字段的结论，只能作为“待验证线索”，不能作为决策依据。
| 元数据字段 | 记录内容 | 为什么必须记录 |
|---|---|---|
| 模型名称 | 完整模型名，而不是“某家的模型” | 同厂商不同模型差异可能很大 |
| 具体版本 | 版本号或快照标识 | 同名模型迭代后表现可能变化 |
| 测试日期 | 精确到日 | 用于判断结论“年龄”，参考 15.7 个月的平均寿命 |
| 完整提示词 | 系统提示词、用户输入、示例 | 换提示词就无法复现 |
| 调用参数 | 温度、最大输出长度等 | 采样参数会影响稳定性类结论 |
| 评判标准 | 什么算通过、什么算失败 | 否则不同人测出的结论不可比 |
| 样本量 | 测了多少条用例 | 单次对话截图不能代表比例 |
第 2 步：按结论类型确定 LLM 复测优先级
拿到一条结论后，先判断它属于哪一类。能力缺陷类结论（数不清、算不对、记不住、被反驳就改口）默认视为“很可能已过期”，引用前必须复测；偏好倾向类结论（自我偏好、谄媚、输出雷同）默认视为“很可能仍存在”，应纳入长期回归测试。
再结合结论的年龄判断：超过一年的结论，按研究数据已有约 16% 的概率过期；超过两年，这一比例升到 39%。如果结论涉及的模型已经被你的候选模型替代，那么不论结论多有名，都应重新测一次。
第 3 步：把结论改写成可执行的 LLM 测试用例
“模型长文档理解差”这种说法无法直接测试，需要改写成具体用例。比如，把一条关键事实放在长文档的开头、中间和结尾，分别提问，统计答对率；或者先让模型给出正确答案，再模拟用户反驳，统计改口比例。
改写时尽量贴近你的真实业务数据，而不是只复用论文里的玩具例子。研究中那些“已过期”的经典题目，很可能已经被各家针对性训练过，在经典题上通过，不代表在你的业务数据上也能通过。
第 4 步：在所有候选 LLM 上用同一组提示词复测
复测的关键在于控制变量：同一组提示词、同一组参数、同一套评判标准，只切换模型。如果每个模型都要单独接一套 SDK、单独处理鉴权，复测成本会高到团队不愿意做。
🚀 实践建议：API易 apiyi.com 基于统一的 OpenAI API 标准，一个令牌即可调用 200+ 模型，切换候选模型时只需修改 model 参数，其余提示词和参数保持不变，比较适合做这类横向复测。具体支持哪些模型和版本，请以平台官方模型列表为准。
第 5 步：建立 LLM 结论档案并定期复查
把每次复测结果存成一份“结论档案”，至少包含结论原文、元数据、复测结果和下次复查日期。参考 15.7 个月的平均寿命，建议对核心业务依赖的结论设置季度或半年复查；当你计划升级模型版本时，则无条件触发一次全量复测。
| 场景 | 建议复测范围 | 复测时机 |
|---|---|---|
| 首次选型 | 所有影响决策的结论 + 业务核心用例 | 选型评审前 |
| 模型版本升级 | 全量回归用例 | 切换上线前 |
| 引用外部结论 | 仅相关结论 | 写进方案文档前 |
| 日常运行 | 偏好倾向类 + 高风险用例 | 每季度或每半年 |
| 线上出现异常 | 异常相关能力 | 立即 |
💡 选择建议：选型时不要先问“哪个模型最强”，而是先确定你的业务最怕哪类错误，再在候选模型上针对性复测。借助 API易 apiyi.com 的统一接口，可以把多个候选模型放在同一套测试流程里对比，减少接入层面的额外变量。
常见问题 FAQ
Q1：什么是 LLM 结论“过期”？
在斯坦福这项研究中，“过期”指的是某条关于 LLM 的经验结论，其背后的效应在新模型上已基本消失。它区别于“减弱”，后者表示问题仍存在但程度明显下降。50 条结论中 44% 过期、34% 减弱。
Q2：LLM 能力缺陷类结论和偏好倾向类结论有什么区别？
能力缺陷类描述模型“做不到什么”，如数字母、算术、长上下文丢信息，有明确正确答案，容易被针对性训练修复，所以过期最快。偏好倾向类描述模型“倾向怎么做”，如偏爱自己的答案、谄媚用户，没有标准答案，因而更持久。
Q3：这项 LLM 结论过期研究是什么时候发布的？
相关报道发布于 2026 年 11 月 3 日，研究测试的模型发布时间覆盖 2024 年 7 月至 2026 年 9 月，共 20 个模型、8 家开发方。由于模型迭代很快，本文引用的具体数据本身也有时效性，建议在使用前查阅原论文。
Q4：哪些团队最需要按版本重新测试 LLM？
主要包括以下场景：
– **正在选型或换模型的团队**：避免拿两年前的缺陷印象排除候选模型
– **用 LLM 做评审打分的团队**：自我偏好、被措辞影响等倾向仍然存在
– **对事实准确性敏感的应用**：参考文献编造率在同代模型间从 0% 到 69% 不等
– **客服、顾问类对话产品**：谄媚迎合类倾向需要长期监测
Q5：如何低成本地在多个 LLM 上做复测？
核心是统一接入层，让“只换模型、不换其他变量”变得简单：
1. 访问 API易 apiyi.com 注册账号并获取 API Key
2. 在官方模型列表中确认候选模型和版本是否可用
3. 用同一组提示词和参数，只修改 model 参数依次调用，记录结果和元数据
这样可以把精力集中在测试用例设计上，而不是反复对接不同厂商的接口。
Q6：能不能直接看新模型的榜单分数来代替复测？
不建议完全依赖。研究显示，发布日期、厂商和规模都不能可靠预测模型在具体结论上的表现，同一发布窗口的模型差异巨大。榜单适合做初筛，最终决策仍应基于你自己业务数据上的复测结果。
Q7：这项 LLM 研究本身有哪些局限？
首先，50 条结论的完整清单和复测方法需查阅原论文，二手报道无法覆盖所有细节。其次，报道中关于推理类结论的正文与图注表述存在差异，需要以原文为准。最后，研究结果同样是“特定模型、特定时间点”的观察，按研究者自己的逻辑，它也会随时间过期。
LLM 结论过期核心要点 Key Takeaways
- 过期比例高：50 条流行 LLM 结论中，44% 已过期，34% 明显减弱
- 寿命很短：可估算的结论平均只能维持 15.7 个月，两年后近四成过期
- 能力缺陷最易过期：数字母、算术、长上下文丢信息等说法要优先复测
- 偏好倾向更持久：自我偏好、谄媚、输出雷同应纳入长期回归测试
- 不能按厂商或时间推断：同为 2026 年模型，参考文献编造率从 0% 到 69%
- 元数据是前提：模型名、版本、日期、提示词缺一项，结论就难以复现
- 统一接口降低复测成本：可借助 API易 apiyi.com 只改 model 参数完成横向对比
总结
LLM 结论平均 15.7 个月就过期，这组数据提醒我们：
- 结论有保质期：任何关于 LLM 的说法，都应被视为“某个模型在某个时间点的观察”
- 类型决定优先级：能力缺陷类优先复测，偏好倾向类长期监测
- 版本决定一切：厂商、发布时间、模型规模都不能代替针对具体版本的实测
下一次在选型会上听到“某模型不擅长 X”时，不妨先问三个问题：哪个版本？什么时候测的？提示词还在吗？如果答不上来，就把它列入复测清单。
推荐通过 API易 apiyi.com 把候选模型接入同一套测试流程，用同一组提示词快速完成多模型复测，具体可用模型以官方列表为准。
📚 参考资料
- THE DECODER – Rapid LLM development is outrunning the research meant to explain it， study finds：斯坦福 LLM 结论过期研究的报道
- 链接：
the-decoder.com/rapid-llm-development-is-outrunning-the-research-meant-to-explain-it-study-finds -
说明： 包含 44% 过期、15.7 个月平均寿命、参考文献编造案例和同代模型差异等核心数据
-
Owen Queen、James Zou 的原始论文：斯坦福研究者对 50 条 LLM 结论的复测研究
- 链接： 请通过论文作者姓名与标题在学术检索平台查询
- 说明： 本文未能获取原论文全文，50 条结论清单与复测方法请以原文为准
作者：APIYI 技术团队
技术交流：欢迎在 API易 apiyi.com 网站首页联系我们，更多模型接入资料可访问 docs.apiyi.com 文档中心
