作者注:本文只解讀 FrontierHarness v1.1 全部 26,040 次運行結束後的終榜,按模型分列對比 21 個 harness,並對照 API易 上相關模型 ID 實際開放的協議與價格。
如果你已經在用 Codex CLI、Claude Code、OpenCode、Pi 這類編程 Agent,並且經常換底層模型,那麼「哪個harness最好」這個問題,大概率沒有一個統一答案。2026-11-10,Runta 的 Guanlan Dai 發起 FrontierHarness v1.1,直接拋出的問題就是:when you switch models, should you switch harnesses too? 截至 2026-11-15,直播榜顯示 running 0、scored 26,040,21 個 harness × 5 個模型 × 62 個任務 × 4 次嘗試已全部跑完。
這不是一份「某隻殼全面第一」的榜單解讀。終榜上通過率第一和每次通過最便宜不是同一只,五個模型各自最便宜的殼也不是同一只,本文會把這些結論按模型拆開,一格一格講清楚。
核心價值:讀完本文,你會拿到一張按模型分開的 FrontierHarness 終榜對比,知道換模型時該看哪一列、哪些舊數字不能再用,以及在接入前要覈對哪條協議。

FrontierHarness 終榜口徑:判斷哪個harness最好之前先看規則
FrontierHarness 的所有運行都在 Runta runtime 裏執行,並且使用同一套資源限制。每個 harness × model 組合要跑滿 248 次纔算最終結果,所以直播過程中的名次會隨着新結果不斷變化。下面這張表整理了 v1.1 終榜的計分口徑,後面所有對比都以它爲準。
| 口徑項 | v1.1 終榜設定 | 對比時的意義 |
|---|---|---|
| 數據集 | [email protected],62 個任務 |
所有殼做同一套題 |
| 規模 | 21 個 harness,每題 4 次,每組合 248 次,每個模型 5,208 次,總計 26,040 次 | 每一格分母一致,可以橫向比較 |
| 運行環境 | 1–4 vCPU、2–8 GB 內存、32 GB 磁盤,單題超時 15 分鐘到 8 小時 | 排除機器差異 |
| 推理設置 | 推理提供方 Baseten,五個模型 effort 都是 max | 模型側變量統一 |
| 通過率 | 通過數 ÷ 計入成績的嘗試;超時和 reward hacking 算失敗,基礎設施錯誤不計入 | 偷看答案不得分 |
| 花費 | 目錄價 × 上報 token | 是榜單算法,不是任何平臺的賬單 |
| 置信度 | 按任務做 95% bootstrap | 相差很小的名次要謹慎解讀 |
有幾組數字經常被轉發,但它們都不是 v1.1 終榜。v1.0 只在 Kimi K3 一個模型上測了 9 個 harness、12 種配置、360 次,其中 Codex 的 66.7% 通過率和 $3.47 的任務中位花費都屬於 v1.0。2026-11-11 的中途快照裏,每次通過花費在 $0.57 到 $1.32 之間、通過率在 56.2% 到 77.6% 之間,這同樣只是過半時的狀態。同一天有人寫「GLM-5.3 最好是 KimiCode、Kimi-K3 最好是 Codex」,按終榜的每次通過花費重排之後,這些說法都不再成立。
哪個harness最好:FrontierHarness 全場終榜對比
下表把 21 個 harness 在五個模型上的成績彙總在一起,按「每次通過花費」從低到高排列。所有美元數字都是 FrontierHarness 終榜按目錄價乘以上報 token 算出來的。
| 排名 | harness | 每次通過花費 | 平均每次任務花費 | 通過率 |
|---|---|---|---|---|
| 1 | Codex CLI | $0.937 | $0.573 | 61.1% |
| 2 | Pi | $0.976 | $0.563 | 57.7% |
| 3 | Oh My Pi | $0.983 | $0.564 | 57.3% |
| 4 | ZCode | $1.06 | $0.659 | 61.9% |
| 5 | KimiCode | $1.09 | $0.653 | 60.2% |
| 6 | OpenCode | $1.12 | $0.646 | 57.4% |
| 7 | Maka | $1.13 | $0.654 | 57.7% |
| 8 | MiniMax Code | $1.14 | $0.647 | 56.8% |
| 9 | DeepSeek Harness: Minimal | $1.15 | $0.661 | 57.4% |
| 10 | Hermes Agent | $1.16 | $0.692 | 59.9% |
| 11 | Cline CLI | $1.19 | $0.689 | 57.7% |
| 12 | Grok Build | $1.20 | $0.723 | 60.0% |
| 13 | Alma | $1.22 | $0.731 | 59.7% |
| 14 | DeepSeek Harness: Standard | $1.27 | $0.697 | 55.0% |
| 15 | DeepSeek Harness: Creator | $1.27 | $0.713 | 56.1% |
| 16 | mini-SWE-agent | $1.29 | $0.757 | 58.6% |
| 17 | DeepSeek Harness: Code | $1.32 | $0.732 | 55.2% |
| 18 | Exo | $1.36 | $0.691 | 50.6% |
| 19 | GitHub Copilot CLI | $1.38 | $0.787 | 56.9% |
| 20 | Claude Code | $1.55 | $0.915 | 58.9% |
| 21 | Antigravity CLI | $1.63 | $0.897 | 55.0% |
全場終榜的兩個第一
全場通過率第一是 ZCode(61.9%),每次通過最便宜的是 Codex CLI($0.937),這兩句必須同時看。Codex CLI 的通過率 61.1%,只比 ZCode 低 0.8 個百分點,但每次通過便宜約 $0.12;ZCode 則是在「更想多過題」時更穩的選擇。最貴的 Antigravity CLI 每次通過 $1.63,約爲 Codex CLI 的 1.74 倍。全場通過率落在 Exo 的 50.6% 到 ZCode 的 61.9% 之間,相差 11.3 個百分點。
有兩處容易誤讀。第一,四個 DeepSeek Harness 是同一版本 0.2.1-rc.3 的四種配置(Minimal、Standard、Creator、Code),而不是四個獨立產品。第二,Alma 按每次通過花費排第 13,按通過率排第 6,排在 ZCode、Codex CLI、KimiCode、Grok Build、Hermes Agent 之後。11 月 11 日快照裏 Alma 排第 3、72.7% 的說法屬於中途數據,以終榜的 59.7% 爲準。
換模型後哪個harness最好:FrontierHarness 五模型分列
全場彙總只能告訴你平均水平,真正決定賬單的是你手上那個模型那一列。下表中的「最便宜」一律指該模型頁上每次通過花費最低的 harness,通過數的分母都是 248。
| 模型 | 平均每次任務花費(對殼取平均) | 每次通過最便宜 | 通過率最高 | 同模型最貴 |
|---|---|---|---|---|
| GLM-5.3 | $0.968 | Codex CLI $0.803,57.7% | ZCode 58.9%,$1.48 | Exo $2.72,50.0% |
| GLM-5.3-Flash | $0.193 | Pi $0.223,58.1% | Hermes Agent 60.9%,$0.328 | DeepSeek Harness: Minimal $0.484,55.2% |
| DeepSeek-V4.1-Flash-1017 | $0.185 | OpenCode $0.177,61.3% | ZCode 69.0%,$0.222 | Cline CLI $0.860,63.3% |
| Muse Spark Open | $1.01 | Oh My Pi $1.21,58.9% | Grok Build 59.7%,$1.77 | Claude Code $3.75,52.8% |
| Kimi-K3 | $1.12 | Oh My Pi $1.45,57.7% | mini-SWE-agent 64.9%,$2.02 | Antigravity CLI $2.73,56.9% |

結論一:五個模型的最便宜 harness 不是同一只
五列的最便宜殼分別是 Codex CLI、Pi、OpenCode、Oh My Pi、Oh My Pi,四隻不同的殼。全場第一的 Codex CLI 只在 GLM-5.3 這一列拿到最便宜,在 GLM-5.3-Flash 上以 $0.226 僅比 Pi 貴一點。所以換模型時要重新看 harness,不能直接沿用舊組合。
結論二:換模型的花費差距大於換殼
按模型看平均每次任務花費,從 DeepSeek-V4.1-Flash-1017 的 $0.185 到 Kimi-K3 的 $1.12,約爲 6.1 倍。按 harness 看全場平均每次任務花費,最低是 Pi 的 $0.563,最高是 Claude Code 的 $0.915,差距不到 2 倍。也就是說,在 FrontierHarness 終榜上,先選模型對任務花費的影響,比先選殼更大。
結論三:自家殼沒有在自家模型上拿下最便宜
在 DeepSeek-V4.1-Flash-1017 這一列,按每次通過花費,DeepSeek Harness 四檔分別是 Code $0.243 / 64.1%、Minimal $0.256 / 63.7%、Creator $0.273 / 64.9%、Standard $0.292 / 62.1%,既沒拿到最便宜(OpenCode $0.177),也沒拿到最高通過率(ZCode 69.0%,171/248,這也是全場所有組合裏通過率最高的一格)。Claude Code 在這一格 68.1%,Codex CLI 是 $0.237 / 67.3%。同列最貴的 Cline CLI 每試用掉 6.77M tokens,每次通過 $0.860,約爲 OpenCode 的 4.9 倍,這個倍數只針對這一對。
Kimi-K3 這一列也一樣:按每次通過花費,自家殼 KimiCode 是 $1.84 / 60.1%,不如 Oh My Pi 的 $1.45,通過率也低於 mini-SWE-agent 的 64.9%、Alma 和 ZCode 的 64.1%。全場通過率最低的一格同樣出在這裏:Exo + Kimi-K3,43.5%,108/248。
場景推薦:按模型選哪個harness最好
把上面的分列結論落到實際選擇上,可以按「你用哪個模型 + 你更在意花費還是通過率」來拆。
用 GLM-5.3 時
- 在意每次通過花費:Codex CLI,$0.803,57.7%,每試約 1.86M tokens。
- 在意通過率:ZCode,58.9%,但每次通過 $1.48,接近 Codex CLI 的兩倍。
- 需要注意:KimiCode 在這一列是 $1.55 / 58.1%,此前的中途說法已經不成立。
用 GLM-5.3-Flash 時
- 在意花費:Pi($0.223)和 Codex CLI($0.226)幾乎打平,後者通過率 59.3% 還略高。
- 在意通過率:Hermes Agent 60.9%,每次通過 $0.328;ZCode 60.1%、$0.264 是折中選項。
用 DeepSeek-V4.1-Flash-1017 時
- 在意花費:OpenCode,$0.177,61.3%。
- 在意通過率:ZCode,69.0%,每次通過 $0.222,只比最便宜的貴約 $0.045。這一列裏,追求通過率的成本很低。
用 Muse Spark Open 或 Kimi-K3 時
- Muse Spark Open:Oh My Pi 最便宜($1.21);Grok Build 通過率最高(59.7%);Claude Code 每試 9.79M tokens,每次通過 $3.75,是這一列最貴的一格。
- Kimi-K3:Oh My Pi 最便宜($1.45,每試 942k tokens);mini-SWE-agent 通過率最高(64.9%);Codex CLI $1.78 / 63.7%,兩頭都不喫虧。

決策建議:harness 協議與 API易 模型 ID 對照
榜單上的 harness 和平臺端點並不是一一對應的。Codex CLI 成績好,不代表你手上的模型 ID 開放了 Responses;Claude Code 同理,要先看 Messages 那一列。每個 harness 跑任務都要消耗 token,換殼或換模型都會直接改變賬單,所以在試某一格之前,建議先到 API易 apiyi.com 的模型頁覈對這個 ID 開放的是 Chat、Responses 還是 Messages,再把 harness 的 base_url 指到 https://api.apiyi.com/v1。
下表是 API易 文檔在 2026-11-15 的默認標價(美元 / 1M tokens),與上面的榜單目錄價是兩套數字,不能混算。
| 模型 ID | 輸入 | 緩存讀 | 輸出 | Chat | Responses | Messages | 分組 |
|---|---|---|---|---|---|---|---|
glm-5.3 |
$1.4 | $0.259 | $4.396 | 支持 | 不支持 | 支持 | ClaudeCode 0.95×、Default、SVIP |
glm-5.3-flash |
$0.15 | $0.03 | $0.5 | 支持 | 模型頁:不支持 | 模型頁:不支持 | CodexResponses、Default、SVIP |
deepseek-v4.1-flash-1017 |
$0.3 | $0.006 | $1.2 | 支持 | 總表無 | 支持 | ClaudeCode、Default、SVIP |
deepseek-v4.1-flash |
$0.3 | $0.006 | $1.2 | 支持 | 見分組 | 支持 | 多一個 CodexResponses |
kimi-k3 |
$3 | $0.3 | $15 | 支持 | 不支持 | 不支持 | Default、SVIP |
| Muse Spark Open | 暫未上架 | — | — | — | — | — | — |
幾處需要逐條說明的地方:
glm-5.3可以走 Messages,並且有 ClaudeCode 分組 0.95×,適合配合 Claude Code 一類殼使用;這個 0.95× 只屬於glm-5.3。它不能走 Responses。glm-5.3-flash的總表和模型頁有兩處不一致,兩種說法都保留:分組裏列了 CodexResponses,但模型頁寫 Responses 和 Messages 都不支持;總表類型列寫的是「文本」,模型頁寫輸入包含文本、圖像、視頻。deepseek-v4.1-flash-1017能走 Messages,但總表看不出 CodexResponses;需要 Responses 要看另一條deepseek-v4.1-flash。kimi-k3只有 Chat Completions,用 Codex CLI 或 Claude Code 前需要先確認 harness 能否接 Chat 協議。- 經濟版
deepseek-v4-1-flash-economy-261017的價格是輸入 $0.24、輸出 $0.96、緩存讀 $0.006,只開放 chat。按 API易 實時動態,它與標準版加載同一份 V4.1-Flash-1017 權重,生成更慢。需要強調:FrontierHarness 沒有測過這個 ID,榜上的通過率不能套用到它身上。 - Muse Spark Open 暫未上架,我們會盡快上架這個模型;型號與價格以平臺型號列表爲準。
💡 選擇建議:先按模型挑出終榜上那一列的候選殼,再按協議篩掉接不上的組合,最後用同一批任務做小規模試跑。通過 API易 apiyi.com 用一個 Key 切換
glm-5.3、kimi-k3等 ID,可以把「換模型」和「換殼」兩個變量分開測試。
| 你的目標 | 先看哪一列 | 終榜候選 |
|---|---|---|
| 不確定模型,只想要穩妥的殼 | 全場彙總 | Codex CLI(每次通過最便宜)、ZCode(通過率最高) |
| 已定模型,壓低花費 | 對應模型的每次通過花費 | 見五模型分列表的「最便宜」列 |
| 已定模型,追求通過率 | 對應模型的通過率 | 見五模型分列表的「最高」列 |
| 想壓縮總預算 | 模型平均每次任務花費 | 先換模型,再換殼 |
常見問題 FAQ
Q1:FrontierHarness 是什麼,它怎麼回答“哪個harness最好”?
FrontierHarness 是由 Runta 發起的編程 Agent harness 評測。v1.1 讓 21 個 harness 在 5 個模型上各跑 62 個任務、每題 4 次,並在同一環境下統計通過率和花費。它給出的不是單一冠軍,而是每個模型各自的一列名次。
Q2:Codex CLI 和 ZCode 到底誰是第一?
兩者都是第一,但口徑不同。按每次通過花費,Codex CLI 以 $0.937 排第一;按通過率,ZCode 以 61.9% 排第一。看你優先考慮預算還是成功率。
Q3:v1.0 的 66.7% 和 11 月 11 日的排名還能參考嗎?
不能當作終榜。v1.0 只測了 Kimi K3 和 9 個 harness,共 360 次;11 月 11 日是 v1.1 跑到一半時的快照。2026-11-15 直播榜顯示已打完 26,040 次,應以這時的終榜爲準。
Q4:用 Claude Code 跑 GLM-5.3 時要注意什麼?
終榜沒有單獨列出 Claude Code 在 GLM-5.3 上的這一格,因此不能直接推斷它的成績。在協議層面,`glm-5.3` 支持 Messages,在 API易 apiyi.com 上還有 ClaudeCode 分組 0.95×,接入條件是具備的。
Q5:怎麼在自己的環境裏復現某一格?
FrontierHarness 提供自測入口,可以用自己的模型 Key 在同一環境中運行。平臺側的做法是:先確認模型 ID 開放了 harness 需要的協議,再把 harness 的 base_url 設爲 `https://api.apiyi.com/v1`,新用戶可以用免費測試額度先跑幾題。
Q6:這份終榜有哪些侷限?
榜上的美元按目錄價乘以上報 token 計算,與實際平臺賬單不同;所有模型的 effort 都設爲 max,換成其他檔位後結果可能變化。另外,部分名次之間的差距落在 95% 置信區間內,相鄰名次不宜過度解讀。
哪個harness最好 Key Takeaways
- 沒有通喫的殼:五個模型的最便宜 harness 分屬四隻不同的殼。
- 兩個第一併存:ZCode 通過率 61.9% 最高,Codex CLI 每次通過 $0.937 最便宜。
- 模型比殼更影響花費:模型間平均任務花費差約 6.1 倍,殼之間不到 2 倍。
- 自家殼不佔優:按每次通過花費,DeepSeek 四檔和 KimiCode 都沒在自家模型上拿下最便宜。
- 最高一格:ZCode + DeepSeek-V4.1-Flash-1017,69.0%,171/248。
- 接入先看協議:在 API易 模型頁確認 Chat、Responses、Messages 三列後再選殼。
總結
FrontierHarness v1.1 終榜對「哪個harness最好」的回答是:要按模型來看。
- 全場兩個第一:通過率看 ZCode,每次通過花費看 Codex CLI。
- 換模型就要重看殼:五列的最便宜殼分別是 Codex CLI、Pi、OpenCode、Oh My Pi、Oh My Pi。
- 預算先看模型:模型帶來的平均任務花費差距,大於換殼帶來的差距。
實際選擇時,可以先在終榜上找到你所用模型那一列,再覈對協議是否接得上。推薦通過 API易 apiyi.com 用統一接口切換模型 ID,對候選組合做小規模試跑。
📚 參考資料
- FrontierHarness 直播榜:v1.1 終榜與各模型分列數據
- 鏈接:
frontierharness.org/live/ -
說明: 2026-11-15 顯示 scored 26,040,是本文所有榜單數字的來源
-
FrontierHarness 自測入口:用自己的 Key 在同一環境運行
- 鏈接:
frontierharness.org/evaluate-your-own-harness/ -
說明: 適合復現某個 harness × model 組合
-
Guanlan Dai 發佈帖:v1.1 的問題設定與規模說明
- 鏈接:
x.com/guanlan/status/2120192585235046712 -
說明: 包含 248 次纔算最終、推理贊助方等背景信息
-
API易 模型總表:各模型 ID 的價格、端點與分組
- 鏈接:
docs.apiyi.com/models - 說明: 本文價格的數據時間爲 2026-11-15 09:36(UTC+8)
作者:APIYI 技術團隊
技術交流:歡迎通過 API易 官網首頁聯繫我們,討論 harness 與模型的組合選型
