75 分钟完成抓娃娃机:Qwen4-Max-Preview 真实编程能力的 4 组实测拆解

75 分钟完成抓娃娃机:Qwen4-Max-Preview 真实编程能力的 4 组实测拆解

摘要:本文依据公开的第三方测试报告,分析 Qwen4-Max-Preview 完成抓娃娃机、Python 服务修复和 1,600 条工单检索等任务的表现,并说明它在耗时和科研判断上的边界。

结论先行:Qwen4-Max-Preview 编程能力的核心判断

公开测试报告显示,Qwen4-Max-Preview 能够推进多步骤开发,补充测试,并交付可复验的项目。最有力的证据来自一次代码修复任务:模型先复现缺陷,再新增测试、发送真实 HTTP 请求并校验数据完整性,最终 57 项测试全部通过。它的短板同样明确:复杂任务耗时较长,抓娃娃机任务用了约 75 分钟;在科研任务中,模型对计算结果的解释超出了证据范围。因此,复杂交付物和科学结论都需要开发者审核。

下文先从抓娃娃机任务切入,再梳理一份覆盖 12 项任务的报告,重点分析代码修复与工单检索两组可核验证据。随后用非负矩阵分解案例说明模型的推理边界,再结合同一抓娃娃机挑战的跨工具对照讨论效率问题,最后给出适合交给它的任务类型。本文为公开报告的测评分析,我们没有重新运行作者的项目,所有数字均标注来源和测试条件。

qwen4-max-preview-coding-ability-review-image-0

To Know:理解 Qwen4-Max-Preview 测评的 9 个术语

术语 解释
Agent 模型自行规划步骤、调用工具并逐步推进任务的工作方式。
状态机 用一组状态和状态之间的转换规则来控制程序行为,例如抓娃娃机的“移动—下抓—上提—结算”。
回归测试 修改代码后重新验证已有功能,确认旧行为没有被改坏。
HTTP 请求 客户端向服务端发送的请求,用来检验接口在真实运行时返回什么结果。
哈希校验 计算文件内容的摘要值,前后对比即可判断原始数据或测试文件是否被改动。
Token 吞吐 单位时间内处理或生成的 Token 数量,数值受工具、网络和运行环境影响。
上下文检索 在一次请求携带的大量资料中定位并关联目标信息。
非负矩阵分解 把一个非负数据矩阵近似拆成两个非负因子矩阵相乘的算法。
局部最优解 在邻近范围内无法继续改进的解;判断一个解是否为局部最优,需要额外的数学条件或分析。

1 75 分钟完成抓娃娃机:Qwen4-Max-Preview 的一项复杂编程任务

1.1 抓娃娃机任务考察什么

2026 年 11 月 12 日,人人都是产品经理刊发了一篇基于 Qoder 的 Qwen4-Max-Preview 实测报告,其中最复杂的一项是抓娃娃机交互系统。这项任务把多种编程难点集中在一个项目里:机械交互与力反馈、绳索悬垂摆动、娃娃之间的碰撞、控制流程的状态机,以及最终的计分逻辑。

这类任务很难靠一次性生成完成。物理效果、状态切换和计分规则彼此依赖,模型需要反复编写、运行、观察和修正,因此它考察的是 Agent 式的多步骤推进能力。

1.2 作者记录的耗时、速度和消耗

指标 作者记录 测试条件与说明
总耗时 约 75 分钟 Qoder 环境,单次任务
输出速度 约 33 Tokens/s 该次任务中观测到的速度
Credits 消耗 约 65 作者估算,Token Plan 计量
交付质量 较扎实 作者主观评价,认为整体可与 Kimi K3.1 打平

这组数字只属于该次任务。Credits 是 Token Plan 的订阅计量单位,实际消耗受输入、缓存命中、输出、思考 Token 和工具调用共同影响,65 Credits 只能说明这次任务的花费量级。33 Tokens/s 同样是特定环境下的观测值。

同一份报告还记录了另外几项任务。在只使用 NumPy 和 PIL 的水墨画任务中,模型生成了超过 1,000 行代码,绘制约 4,019 个笔触,并用像素明度统计和 ASCII 轮廓扫描自检,发现燕子与窗洞黑块重叠后主动调整了坐标。作者认为它的代码组织和自检能力较强,审美表现仍有提升空间。

2 Qwen4-Max-Preview 的十二项真实任务覆盖了什么

2.1 一份更全面的测试报告

11 月 16 日,人人都是产品经理刊发了一份 Z Finance 测试报告,作者称完成了 12 项任务,并对关键结果做了抽查和复验。下表按报告覆盖的任务整理:

类别 测试任务 主要考察能力
视觉生成 鹈鹕骑自行车 SVG 视觉理解、代码生成
财务分析 三份财报联合分析 长文档理解、财务口径
图表识别 Apple 产品收入柱状图 图表读取、数值估计
办公协作 会议纪要三轮修改 上下文保持、修改一致性
数据处理 44 行销售数据清洗 去重、单位转换、公式
演示文稿 平头哥上市 PPT 实时检索、文件生成
长文本检索 1,600 条客服工单 跨记录关联、条件筛选
代码维护 Python 工单服务修复 缺陷定位、测试与回归
科研复现 非负矩阵分解算法 算法实现、数值验证
网页开发 招股书资料展示页面 HTML、离线交付、交互
仿真系统 雨水花园模拟 交互设计、数值计算
游戏开发 四季主题 3D 小游戏 3D 场景、状态管理、交互

2.2 五个值得关注的案例

这 12 项任务中,以下五项最能说明模型交付“可用成果”的能力:

  • 财报分析:输入 Apple、Costco 的 FY2026 年报和 Anthropic 第二版招股书,约 8 分钟完成。抽查的 6 个关键数字全部正确,模型区分了经营亏损与净亏损,指出了可转债公允价值变动对净亏损的影响,对未披露的未来指引没有自行编造。
  • Excel 清洗:44 行销售明细中混入了重复记录、仅有空格差异的重复数据、元与万元两种单位、三种日期格式和 5 笔缺失订单。清洗后剩 35 行,四个区域合计 215,700 元,5 个汇总单元格均使用真实公式,修改明细后汇总值能自动更新。
  • PPT 生成:模型通过实时检索识别出分拆公告信息,生成可编辑的 PPT,并区分了估值预测与发行定价;第二轮调整受众后,原有 20 个关键数字、日期和名称都保持不变。作者也指出存在产品线遗漏。
  • 工单检索与 Python 修复:这两项证据最具体,分别在第 4 节和第 3 节展开。

这些任务的共同点是交付物可以被检查:公式能不能联动,数字和原文是否一致,测试能否通过。这类证据比“生成了一段看起来正确的代码”更有说服力。

3 57 项测试通过:Qwen4-Max-Preview 最有说服力的工程证据

3.1 修复过程完整还原

被测对象是一个用 Python 标准库编写的工单查询服务,缺陷涉及组合筛选、排序、分页和参数校验。任务要求修复缺陷,同时保留接口、原始数据和原有测试。报告记录该次任务用时 8 分 07 秒,过程如下:

步骤 模型的动作 工程意义
复现缺陷 先运行原有 9 项测试,复现其中 2 项失败 先确认问题存在,再动手修改
定位修改 主要修改集中在 query.py 改动范围收敛,降低副作用
补充测试 新增 48 项测试 覆盖原测试未覆盖的边界情况
自我纠错 修复自编测试中的 3 处问题 发现测试本身写错并及时纠正
回归验证 最终 57 项测试全部通过 9 项原有测试加 48 项新增测试
完整性检查 对原始数据和原有测试做哈希校验,哈希无变化 证明没有靠篡改数据或测试来“通过”
真实请求 启动本地服务发送 13 个 HTTP 请求,得到 7 个 200、4 个 400、2 个 404 验证接口运行时的正常响应与错误处理
交付复验 解压最终交付包后再次运行,测试通过 确认交付物本身可以独立运行

qwen4-max-preview-coding-ability-review-image-1

3.2 为什么这比生成代码更能说明问题

AI 编程中常见的失败方式有两种:一是改动测试或数据让测试“变绿”,二是代码在测试里通过,在真实运行时出错。该次任务的哈希校验针对第一种风险,真实 HTTP 请求和交付包复验针对第二种风险。4 个 400 和 2 个 404 响应说明模型也验证了错误路径,参数校验和不存在资源的处理都经过实际检验。

这一流程与成熟工程师修 Bug 的习惯一致:复现、修复、补测、回归、交付。它证明 Qwen4-Max-Preview 在一个规则明确、规模可控的服务中具备完整的维护闭环。这仍是一次任务的记录,无法换算成通用的代码修复成功率。

4 百万上下文的实际价值:在 1,600 条工单中找到相隔 741 行的线索

4.1 测试设计与结果

官方公布的 Qwen4-Max-Preview 上下文窗口为 1,000,000 Tokens。窗口大小只是容量上限,决定实用价值的是模型能否在大量材料中建立正确关联。Z Finance 报告中的工单测试回答了这个问题。

测试数据为 1,600 条客服工单,体量约 50 万字节,关键线索分布在相隔 741 行的两条记录中,共提出 5 个问题。报告记录 5 个问题全部答对,具体表现包括:

  1. 把两条分散的工单关联起来,找到 1,386 元退款金额及经手人。
  2. 依据审批日期,判断补偿券新政策是否适用于该案例。
  3. 统计出 62 条符合指定条件的工单,与脚本统计结果一致。
  4. 找出两组重复订单号,并区分哪组属于正常流转、哪组属于客户信息冲突。

4.2 字节和 Token 是两种单位

约 50 万字节是文件大小,Token 数量取决于分词方式和中英文比例,两者需要分开计算。这项测试证明的是“中等规模资料中的跨记录关联与条件筛选”,它的规模远小于 100 万 Token 的窗口上限,因此不能当作极限容量的压力测试。

第 3 项结果的价值在于可核对:62 条与脚本统计一致,说明模型的计数可以用确定性程序复核。实际使用时也建议采用同样的做法,用脚本核对模型给出的统计结果,再把模型用于关联和解释这类脚本难以完成的部分。

5 不能忽视的短板:Qwen4-Max-Preview 在科研推理中的过度结论

5.1 计算做对了,解释超出了证据

科研复现任务要求依据指定论文实现非负矩阵分解的乘法更新算法。输入矩阵为 48×36,使用三组不同初值,每组迭代 500 次。报告记录模型用时 10 分 06 秒,交付了代码、数值结果、图表和日志;三组结果各提供 52 个检查点,A 组关键检查点与公开参考结果吻合,另有 63 项自查记录。

问题出在结论环节。模型仅凭目标函数持续下降,就把结果解释为收敛到局部最优解。作者指出这属于过度推断。

5.2 三个需要分开判断的概念

这个案例涉及三个层次的判断,后者都需要比前者更强的证据:

  • 目标函数下降:乘法更新规则的设计特性,日志和图表可以直接观察到。
  • 数值迭代收敛:需要检查迭代量的变化是否趋于稳定,并设定明确的停止标准。
  • 收敛到局部最优解:需要验证最优性条件,例如 KKT 条件,单看函数值下降无法得出。

这说明模型的执行能力和论证严谨性需要分别评估。数值计算可以靠检查点验证,科学结论则需要具备相关背景的人审核。在研究、论文复现或技术报告场景中,模型输出的“结论段”应作为草稿处理。

6 Qwen4-Max-Preview 与其他编程工具的同任务对照

6.1 抓娃娃机挑战的对照数据

11 月 12 日的报告还给出了同一抓娃娃机挑战在不同工具中的记录。原表中的 Qwen 一行标注为 Qwen4-Max,测试时间为 11 月 12 日,早于正式版 11 月 16 日上线,对应的是预览阶段的模型。

工具/模型 耗时 Token 总处理量(估算) 输出 Token 复测入口
Codex 8 分钟 350 万 2.8 万 对应官方工具
Claude Code 17 分钟 1,215 万 13 万 官方工具;Claude 模型可经 API易 apiyi.com 调用
Gemini 21 分钟 1,394 万 8.1 万 官方工具;Gemini 模型可经 API易 调用
Kimi Code 36 分钟 950 万 5.9 万 对应官方工具
DSH 46 分钟 4,644 万 28.1 万 对应官方工具
MiniMax Code 68 分钟 4,000 万 19.8 万 对应官方工具
Qwen4-Max(预览阶段) 75 分钟 269 万 5.5 万 Token Plan(Qoder)

qwen4-max-preview-coding-ability-review-image-2

6.2 如何读这组数据

数据呈现出一个明显的反差:Qwen4-Max-Preview 在该任务中的 Token 总处理量最低,约 269 万,耗时却最长,约 75 分钟。结合约 33 Tokens/s 的观测速度可以看出,该次任务的瓶颈在生成速度,消耗的 Token 规模本身并不大。

这组数据不适合做排名,原因有三点:Token 总量是作者估算的;各工具的上下文缓存占比、调用策略和执行方式不同;表中各模型的具体版本也没有统一说明。Token 处理量低可能来自更少的重复读取,也可能来自工具层的缓存策略差异,现有材料无法区分。它能支持的判断是:在这个工具环境里,Qwen4-Max-Preview 适合对等待时间不敏感、更在意交付完整性的任务。

7 哪些开发者值得尝试 Qwen4-Max-Preview

7.1 适合与谨慎使用的场景

综合两份报告,Qwen4-Max-Preview 在以下任务中表现较稳定:

  • 规则明确的代码维护:有现成测试、问题边界清楚的修复和补测任务。
  • 长文档检索与关联:工单、日志、合同、财报中的跨记录查找,配合脚本复核统计结果。
  • 办公自动化:数据清洗、带公式的 Excel、可编辑 PPT 和多轮修改。
  • 交互原型开发:单文件网页、模拟系统和小游戏原型,例如报告中约 46KB、无外部依赖的离线展示页。

需要谨慎的是三类任务:对响应时间敏感的交互开发(单次任务可能持续一小时以上)、需要严格数学或科学论证的结论输出,以及高可靠性要求的生产变更。报告作者的总结也包括“范围较宽的任务中部分信息会遗漏”和“仍需要人工核验最终交付物”。

使用前还要注意官方限制:Preview 只能通过阿里云 Token Plan 在 Claude Code、Cursor、Qoder 等工具中交互式使用,不支持按量付费,预览期至 2026 年 11 月 25 日 24:00(北京时间)结束后下线。正式版 Qwen4-Max 已于 11 月 16 日上线,官方建议迁移到正式版。两者参数不同:正式版思考模式最大输出为 262,144 Tokens,Preview 为 393,216 Tokens,迁移时需要重新设置输出预算。

7.2 用自己的任务做一次同类复测

二手报告最多只能说明“这个模型做得到”。决定它是否适合你的团队,最直接的方法是拿自己的真实代码和测试做一次对照。下面的示例通过 OpenAI 兼容接口发送一项代码修复任务,并记录耗时和 Token 用量。模型名称请以平台模型列表中的实际名称为准。

import openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"  # API易 统一接口,OpenAI 兼容
)

resp = client.chat.completions.create(
    model="qwen4-max",  # 以 API易 模型列表中的实际名称为准
    messages=[{"role": "user", "content": "阅读以下代码与失败的测试,给出最小修复补丁:..."}]
)
print(resp.choices[0].message.content)
查看多模型对照复测脚本
import time
import openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"  # 一个 Key 调用多家模型
)

# 替换为平台模型列表中的实际名称
MODELS = ["qwen4-max", "claude-sonnet-model-name", "gpt-model-name"]

TASK = """你将收到一个 Python 服务的源码和测试结果。
要求:1) 先说明复现到的失败原因;2) 只修改必要文件;
3) 补充覆盖边界条件的测试;4) 不得修改原始数据和已有测试。
--- 源码与测试输出 ---
{payload}
"""

def run_case(model: str, payload: str) -> dict:
    start = time.time()
    resp = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": TASK.format(payload=payload)}],
        max_tokens=32000,  # 思考模型的思考 Token 也占用输出预算,需预留空间
    )
    usage = resp.usage
    return {
        "model": model,
        "seconds": round(time.time() - start, 1),
        "prompt_tokens": usage.prompt_tokens,
        "completion_tokens": usage.completion_tokens,
        "answer": resp.choices[0].message.content,
    }

if __name__ == "__main__":
    payload = open("bug_context.txt", encoding="utf-8").read()
    for m in MODELS:
        r = run_case(m, payload)
        print(f"{r['model']}: {r['seconds']}s, "
              f"in={r['prompt_tokens']}, out={r['completion_tokens']}")
        # 将补丁应用到隔离目录,运行测试并对原始数据做哈希校验后再评分

脚本只负责收集方案和用量,评分环节要照搬报告中的做法:在隔离目录里应用补丁,运行原有测试和新增测试,用哈希值确认数据和旧测试没有被改动。这样得出的结论才对你的代码库有效。

🚀 快速开始:如果要在同一组任务上对比多个模型,可以通过 API易 apiyi.com 获取免费测试额度。平台提供 OpenAI 兼容接口,一个 API Key 即可切换 OpenAI、Claude、Gemini 等主流模型,便于把复测脚本跑在同一套评测流程里。

8 Qwen4-Max-Preview 测评常见问题

Q1:75 分钟完成抓娃娃机,说明它速度慢吗?

在该次 Qoder 任务中,它的耗时是对照表里最长的,观测输出速度约 33 Tokens/s。这只是单一环境下的记录,工具调度和网络条件都会影响结果。如果你的场景对等待时间敏感,建议用自己的任务实测。

Q2:57 项测试通过能代表它的代码修复成功率吗?

它代表一次完整、可核验的修复过程,无法换算成成功率。想评估在自己项目中的表现,可以通过 API易 apiyi.com 用同一组缺陷样本对比多个模型,按测试通过情况和哈希校验结果打分。

Q3:工单测试是否验证了 100 万 Token 上下文?

没有。该测试约 50 万字节,Token 数量取决于分词方式,规模远小于窗口上限。它验证的是跨记录关联和条件筛选能力。

Q4:Preview 结束后应该怎么办?

官方已上线正式版 Qwen4-Max,并建议使用正式版。正式版支持按量付费 API,思考模式最大输出为 262,144 Tokens,迁移时需要调整输出预算。第三方平台的上架情况和价格变化较快,可以在 API易 apiyi.com 的模型列表中确认当前可用的模型名称后再接入。

Q5:能把 Token Plan 的 Key 放进自己的应用后端吗?

不能。官方规定 Token Plan 仅限在允许的编程工具和智能体工具中交互式使用,自动化脚本批量调用和自建应用后端都不在允许范围内,违规可能导致订阅暂停或 Key 被封禁。自建应用应选择符合使用范围的 API 产品。

9 Qwen4-Max-Preview 测评 Key Takeaways

  • 交付闭环:代码修复任务覆盖复现、修复、补测、哈希校验、真实请求和交付复验,57 项测试通过。
  • 长文本关联:1,600 条工单中跨 741 行关联线索,5 问全对,62 条统计与脚本一致。
  • 办公交付:Excel 公式可联动,PPT 多轮修改后 20 个关键事实保持不变。
  • 速度短板:抓娃娃机任务约 75 分钟,Token 处理量低、耗时长。
  • 推理边界:科研复现的计算与参考结果吻合,结论存在过度推断,需要人工审核。
  • 证据性质:以上均为单一作者的任务实测,不构成标准化排名。
  • 上手方式:用自己的代码与测试做对照复测,可借助 API易 apiyi.com 在一个接口内切换多个模型。

10 总结:开发者应该把 Qwen4-Max-Preview 用在哪里

公开报告给出的画像比较清晰。Qwen4-Max-Preview 擅长有明确规则和可检验结果的工作:带测试的代码维护、长资料中的跨记录检索、带公式的数据处理和可编辑办公文件,以及交互原型开发。它在这些任务中能自己补测试、自己查错,并交付可以复验的成果。

它的限制同样具体:复杂任务耗时较长,适合放在后台运行;科学结论容易超出证据范围,需要专业审核;Preview 只能通过 Token Plan 在指定工具中交互使用,并将于 11 月 25 日下线,长期使用应转向正式版。

最务实的做法是把它当作一名能独立完成维护闭环的工程助手,由开发者负责结论把关和最终合并。上线前,建议用自己的真实任务做一次多模型对照,通过 API易 apiyi.com 统一接口即可在同一流程里完成测试与比较。


📚 参考资料

  1. 人人都是产品经理:Qwen4-Max 预览版来了!实测,谈谈感受:Qoder 抓娃娃机实测与跨工具对照,2026-11-12

    • 链接: woshipm.com/ai/6492544.html
    • 说明: 75 分钟耗时、33 Tokens/s、65 Credits 及对照表来源
  2. 人人都是产品经理:实测 Qwen4-Max-Preview(Z Finance 测试报告):12 项任务综合测试,2026-11-16

    • 链接: woshipm.com/evaluating/6494229.html
    • 说明: 代码修复、工单检索、科研复现、办公任务数据来源
  3. 阿里云 Model Studio:Qwen4-Max-Preview 文档:官方规格与使用说明

    • 链接: help.aliyun.com/zh/model-studio/qwen4-max-preview
    • 说明: 上下文窗口、最大输出、预览时间与接入方式
  4. 阿里云 Model Studio:Qwen4-Max 文档:正式版参数与计费

    • 链接: help.aliyun.com/zh/model-studio/qwen4-max
    • 说明: 正式版输出预算与按量付费信息
  5. 阿里云:Token Plan 权限与使用规范:使用范围限制

    • 链接: help.aliyun.com/zh/model-studio/token-plan-permissions-and-usage
    • 说明: 交互式使用要求与禁止场景

作者:API易 技术团队
技术交流:欢迎在 API易 apiyi.com 网站首页联系我们,更多接入资料可访问 docs.apiyi.com 文档中心

延伸阅读

类似文章