|

哪個harness最好?FrontierHarness排行榜對比

哪個harness最好?FrontierHarness排行榜對比

作者注:本文只解讀 FrontierHarness v1.1 全部 26,040 次運行結束後的終榜,按模型分列對比 21 個 harness,並對照 API易 上相關模型 ID 實際開放的協議與價格。

如果你已經在用 Codex CLI、Claude Code、OpenCode、Pi 這類編程 Agent,並且經常換底層模型,那麼「哪個harness最好」這個問題,大概率沒有一個統一答案。2026-11-10,Runta 的 Guanlan Dai 發起 FrontierHarness v1.1,直接拋出的問題就是:when you switch models, should you switch harnesses too? 截至 2026-11-15,直播榜顯示 running 0、scored 26,040,21 個 harness × 5 個模型 × 62 個任務 × 4 次嘗試已全部跑完。

這不是一份「某隻殼全面第一」的榜單解讀。終榜上通過率第一和每次通過最便宜不是同一只,五個模型各自最便宜的殼也不是同一只,本文會把這些結論按模型拆開,一格一格講清楚。

核心價值:讀完本文,你會拿到一張按模型分開的 FrontierHarness 終榜對比,知道換模型時該看哪一列、哪些舊數字不能再用,以及在接入前要覈對哪條協議。

which-harness-is-best-frontierharness-leaderboard-comparison-zh-hant-image-0


FrontierHarness 終榜口徑:判斷哪個harness最好之前先看規則

FrontierHarness 的所有運行都在 Runta runtime 裏執行,並且使用同一套資源限制。每個 harness × model 組合要跑滿 248 次纔算最終結果,所以直播過程中的名次會隨着新結果不斷變化。下面這張表整理了 v1.1 終榜的計分口徑,後面所有對比都以它爲準。

口徑項 v1.1 終榜設定 對比時的意義
數據集 [email protected],62 個任務 所有殼做同一套題
規模 21 個 harness,每題 4 次,每組合 248 次,每個模型 5,208 次,總計 26,040 次 每一格分母一致,可以橫向比較
運行環境 1–4 vCPU、2–8 GB 內存、32 GB 磁盤,單題超時 15 分鐘到 8 小時 排除機器差異
推理設置 推理提供方 Baseten,五個模型 effort 都是 max 模型側變量統一
通過率 通過數 ÷ 計入成績的嘗試;超時和 reward hacking 算失敗,基礎設施錯誤不計入 偷看答案不得分
花費 目錄價 × 上報 token 是榜單算法,不是任何平臺的賬單
置信度 按任務做 95% bootstrap 相差很小的名次要謹慎解讀

有幾組數字經常被轉發,但它們都不是 v1.1 終榜。v1.0 只在 Kimi K3 一個模型上測了 9 個 harness、12 種配置、360 次,其中 Codex 的 66.7% 通過率和 $3.47 的任務中位花費都屬於 v1.0。2026-11-11 的中途快照裏,每次通過花費在 $0.57 到 $1.32 之間、通過率在 56.2% 到 77.6% 之間,這同樣只是過半時的狀態。同一天有人寫「GLM-5.3 最好是 KimiCode、Kimi-K3 最好是 Codex」,按終榜的每次通過花費重排之後,這些說法都不再成立。


哪個harness最好:FrontierHarness 全場終榜對比

下表把 21 個 harness 在五個模型上的成績彙總在一起,按「每次通過花費」從低到高排列。所有美元數字都是 FrontierHarness 終榜按目錄價乘以上報 token 算出來的。

排名 harness 每次通過花費 平均每次任務花費 通過率
1 Codex CLI $0.937 $0.573 61.1%
2 Pi $0.976 $0.563 57.7%
3 Oh My Pi $0.983 $0.564 57.3%
4 ZCode $1.06 $0.659 61.9%
5 KimiCode $1.09 $0.653 60.2%
6 OpenCode $1.12 $0.646 57.4%
7 Maka $1.13 $0.654 57.7%
8 MiniMax Code $1.14 $0.647 56.8%
9 DeepSeek Harness: Minimal $1.15 $0.661 57.4%
10 Hermes Agent $1.16 $0.692 59.9%
11 Cline CLI $1.19 $0.689 57.7%
12 Grok Build $1.20 $0.723 60.0%
13 Alma $1.22 $0.731 59.7%
14 DeepSeek Harness: Standard $1.27 $0.697 55.0%
15 DeepSeek Harness: Creator $1.27 $0.713 56.1%
16 mini-SWE-agent $1.29 $0.757 58.6%
17 DeepSeek Harness: Code $1.32 $0.732 55.2%
18 Exo $1.36 $0.691 50.6%
19 GitHub Copilot CLI $1.38 $0.787 56.9%
20 Claude Code $1.55 $0.915 58.9%
21 Antigravity CLI $1.63 $0.897 55.0%

全場終榜的兩個第一

全場通過率第一是 ZCode(61.9%),每次通過最便宜的是 Codex CLI($0.937),這兩句必須同時看。Codex CLI 的通過率 61.1%,只比 ZCode 低 0.8 個百分點,但每次通過便宜約 $0.12;ZCode 則是在「更想多過題」時更穩的選擇。最貴的 Antigravity CLI 每次通過 $1.63,約爲 Codex CLI 的 1.74 倍。全場通過率落在 Exo 的 50.6% 到 ZCode 的 61.9% 之間,相差 11.3 個百分點。

有兩處容易誤讀。第一,四個 DeepSeek Harness 是同一版本 0.2.1-rc.3 的四種配置(Minimal、Standard、Creator、Code),而不是四個獨立產品。第二,Alma 按每次通過花費排第 13,按通過率排第 6,排在 ZCode、Codex CLI、KimiCode、Grok Build、Hermes Agent 之後。11 月 11 日快照裏 Alma 排第 3、72.7% 的說法屬於中途數據,以終榜的 59.7% 爲準。


換模型後哪個harness最好:FrontierHarness 五模型分列

全場彙總只能告訴你平均水平,真正決定賬單的是你手上那個模型那一列。下表中的「最便宜」一律指該模型頁上每次通過花費最低的 harness,通過數的分母都是 248。

模型 平均每次任務花費(對殼取平均) 每次通過最便宜 通過率最高 同模型最貴
GLM-5.3 $0.968 Codex CLI $0.803,57.7% ZCode 58.9%,$1.48 Exo $2.72,50.0%
GLM-5.3-Flash $0.193 Pi $0.223,58.1% Hermes Agent 60.9%,$0.328 DeepSeek Harness: Minimal $0.484,55.2%
DeepSeek-V4.1-Flash-1017 $0.185 OpenCode $0.177,61.3% ZCode 69.0%,$0.222 Cline CLI $0.860,63.3%
Muse Spark Open $1.01 Oh My Pi $1.21,58.9% Grok Build 59.7%,$1.77 Claude Code $3.75,52.8%
Kimi-K3 $1.12 Oh My Pi $1.45,57.7% mini-SWE-agent 64.9%,$2.02 Antigravity CLI $2.73,56.9%

which-harness-is-best-frontierharness-leaderboard-comparison-zh-hant-image-1

結論一:五個模型的最便宜 harness 不是同一只

五列的最便宜殼分別是 Codex CLI、Pi、OpenCode、Oh My Pi、Oh My Pi,四隻不同的殼。全場第一的 Codex CLI 只在 GLM-5.3 這一列拿到最便宜,在 GLM-5.3-Flash 上以 $0.226 僅比 Pi 貴一點。所以換模型時要重新看 harness,不能直接沿用舊組合。

結論二:換模型的花費差距大於換殼

按模型看平均每次任務花費,從 DeepSeek-V4.1-Flash-1017 的 $0.185 到 Kimi-K3 的 $1.12,約爲 6.1 倍。按 harness 看全場平均每次任務花費,最低是 Pi 的 $0.563,最高是 Claude Code 的 $0.915,差距不到 2 倍。也就是說,在 FrontierHarness 終榜上,先選模型對任務花費的影響,比先選殼更大。

結論三:自家殼沒有在自家模型上拿下最便宜

在 DeepSeek-V4.1-Flash-1017 這一列,按每次通過花費,DeepSeek Harness 四檔分別是 Code $0.243 / 64.1%、Minimal $0.256 / 63.7%、Creator $0.273 / 64.9%、Standard $0.292 / 62.1%,既沒拿到最便宜(OpenCode $0.177),也沒拿到最高通過率(ZCode 69.0%,171/248,這也是全場所有組合裏通過率最高的一格)。Claude Code 在這一格 68.1%,Codex CLI 是 $0.237 / 67.3%。同列最貴的 Cline CLI 每試用掉 6.77M tokens,每次通過 $0.860,約爲 OpenCode 的 4.9 倍,這個倍數只針對這一對。

Kimi-K3 這一列也一樣:按每次通過花費,自家殼 KimiCode 是 $1.84 / 60.1%,不如 Oh My Pi 的 $1.45,通過率也低於 mini-SWE-agent 的 64.9%、Alma 和 ZCode 的 64.1%。全場通過率最低的一格同樣出在這裏:Exo + Kimi-K3,43.5%,108/248。


場景推薦:按模型選哪個harness最好

把上面的分列結論落到實際選擇上,可以按「你用哪個模型 + 你更在意花費還是通過率」來拆。

用 GLM-5.3 時

  • 在意每次通過花費:Codex CLI,$0.803,57.7%,每試約 1.86M tokens。
  • 在意通過率:ZCode,58.9%,但每次通過 $1.48,接近 Codex CLI 的兩倍。
  • 需要注意:KimiCode 在這一列是 $1.55 / 58.1%,此前的中途說法已經不成立。

用 GLM-5.3-Flash 時

  • 在意花費:Pi($0.223)和 Codex CLI($0.226)幾乎打平,後者通過率 59.3% 還略高。
  • 在意通過率:Hermes Agent 60.9%,每次通過 $0.328;ZCode 60.1%、$0.264 是折中選項。

用 DeepSeek-V4.1-Flash-1017 時

  • 在意花費:OpenCode,$0.177,61.3%。
  • 在意通過率:ZCode,69.0%,每次通過 $0.222,只比最便宜的貴約 $0.045。這一列裏,追求通過率的成本很低。

用 Muse Spark Open 或 Kimi-K3 時

  • Muse Spark Open:Oh My Pi 最便宜($1.21);Grok Build 通過率最高(59.7%);Claude Code 每試 9.79M tokens,每次通過 $3.75,是這一列最貴的一格。
  • Kimi-K3:Oh My Pi 最便宜($1.45,每試 942k tokens);mini-SWE-agent 通過率最高(64.9%);Codex CLI $1.78 / 63.7%,兩頭都不喫虧。

which-harness-is-best-frontierharness-leaderboard-comparison-zh-hant-image-2


決策建議:harness 協議與 API易 模型 ID 對照

榜單上的 harness 和平臺端點並不是一一對應的。Codex CLI 成績好,不代表你手上的模型 ID 開放了 Responses;Claude Code 同理,要先看 Messages 那一列。每個 harness 跑任務都要消耗 token,換殼或換模型都會直接改變賬單,所以在試某一格之前,建議先到 API易 apiyi.com 的模型頁覈對這個 ID 開放的是 Chat、Responses 還是 Messages,再把 harness 的 base_url 指到 https://api.apiyi.com/v1。

下表是 API易 文檔在 2026-11-15 的默認標價(美元 / 1M tokens),與上面的榜單目錄價是兩套數字,不能混算。

模型 ID 輸入 緩存讀 輸出 Chat Responses Messages 分組
glm-5.3 $1.4 $0.259 $4.396 支持 不支持 支持 ClaudeCode 0.95×、Default、SVIP
glm-5.3-flash $0.15 $0.03 $0.5 支持 模型頁:不支持 模型頁:不支持 CodexResponses、Default、SVIP
deepseek-v4.1-flash-1017 $0.3 $0.006 $1.2 支持 總表無 支持 ClaudeCode、Default、SVIP
deepseek-v4.1-flash $0.3 $0.006 $1.2 支持 見分組 支持 多一個 CodexResponses
kimi-k3 $3 $0.3 $15 支持 不支持 不支持 Default、SVIP
Muse Spark Open 暫未上架 — — — — — —

幾處需要逐條說明的地方:

  • glm-5.3 可以走 Messages,並且有 ClaudeCode 分組 0.95×,適合配合 Claude Code 一類殼使用;這個 0.95× 只屬於 glm-5.3。它不能走 Responses。
  • glm-5.3-flash 的總表和模型頁有兩處不一致,兩種說法都保留:分組裏列了 CodexResponses,但模型頁寫 Responses 和 Messages 都不支持;總表類型列寫的是「文本」,模型頁寫輸入包含文本、圖像、視頻。
  • deepseek-v4.1-flash-1017 能走 Messages,但總表看不出 CodexResponses;需要 Responses 要看另一條 deepseek-v4.1-flash。
  • kimi-k3 只有 Chat Completions,用 Codex CLI 或 Claude Code 前需要先確認 harness 能否接 Chat 協議。
  • 經濟版 deepseek-v4-1-flash-economy-261017 的價格是輸入 $0.24、輸出 $0.96、緩存讀 $0.006,只開放 chat。按 API易 實時動態,它與標準版加載同一份 V4.1-Flash-1017 權重,生成更慢。需要強調:FrontierHarness 沒有測過這個 ID,榜上的通過率不能套用到它身上。
  • Muse Spark Open 暫未上架,我們會盡快上架這個模型;型號與價格以平臺型號列表爲準。

💡 選擇建議:先按模型挑出終榜上那一列的候選殼,再按協議篩掉接不上的組合,最後用同一批任務做小規模試跑。通過 API易 apiyi.com 用一個 Key 切換 glm-5.3、kimi-k3 等 ID,可以把「換模型」和「換殼」兩個變量分開測試。

你的目標 先看哪一列 終榜候選
不確定模型,只想要穩妥的殼 全場彙總 Codex CLI(每次通過最便宜)、ZCode(通過率最高)
已定模型,壓低花費 對應模型的每次通過花費 見五模型分列表的「最便宜」列
已定模型,追求通過率 對應模型的通過率 見五模型分列表的「最高」列
想壓縮總預算 模型平均每次任務花費 先換模型,再換殼

常見問題 FAQ

Q1:FrontierHarness 是什麼,它怎麼回答“哪個harness最好”?

FrontierHarness 是由 Runta 發起的編程 Agent harness 評測。v1.1 讓 21 個 harness 在 5 個模型上各跑 62 個任務、每題 4 次,並在同一環境下統計通過率和花費。它給出的不是單一冠軍,而是每個模型各自的一列名次。

Q2:Codex CLI 和 ZCode 到底誰是第一?

兩者都是第一,但口徑不同。按每次通過花費,Codex CLI 以 $0.937 排第一;按通過率,ZCode 以 61.9% 排第一。看你優先考慮預算還是成功率。

Q3:v1.0 的 66.7% 和 11 月 11 日的排名還能參考嗎?

不能當作終榜。v1.0 只測了 Kimi K3 和 9 個 harness,共 360 次;11 月 11 日是 v1.1 跑到一半時的快照。2026-11-15 直播榜顯示已打完 26,040 次,應以這時的終榜爲準。

Q4:用 Claude Code 跑 GLM-5.3 時要注意什麼?

終榜沒有單獨列出 Claude Code 在 GLM-5.3 上的這一格,因此不能直接推斷它的成績。在協議層面,`glm-5.3` 支持 Messages,在 API易 apiyi.com 上還有 ClaudeCode 分組 0.95×,接入條件是具備的。

Q5:怎麼在自己的環境裏復現某一格?

FrontierHarness 提供自測入口,可以用自己的模型 Key 在同一環境中運行。平臺側的做法是:先確認模型 ID 開放了 harness 需要的協議,再把 harness 的 base_url 設爲 `https://api.apiyi.com/v1`,新用戶可以用免費測試額度先跑幾題。

Q6:這份終榜有哪些侷限?

榜上的美元按目錄價乘以上報 token 計算,與實際平臺賬單不同;所有模型的 effort 都設爲 max,換成其他檔位後結果可能變化。另外,部分名次之間的差距落在 95% 置信區間內,相鄰名次不宜過度解讀。


哪個harness最好 Key Takeaways

  • 沒有通喫的殼:五個模型的最便宜 harness 分屬四隻不同的殼。
  • 兩個第一併存:ZCode 通過率 61.9% 最高,Codex CLI 每次通過 $0.937 最便宜。
  • 模型比殼更影響花費:模型間平均任務花費差約 6.1 倍,殼之間不到 2 倍。
  • 自家殼不佔優:按每次通過花費,DeepSeek 四檔和 KimiCode 都沒在自家模型上拿下最便宜。
  • 最高一格:ZCode + DeepSeek-V4.1-Flash-1017,69.0%,171/248。
  • 接入先看協議:在 API易 模型頁確認 Chat、Responses、Messages 三列後再選殼。

總結

FrontierHarness v1.1 終榜對「哪個harness最好」的回答是:要按模型來看。

  1. 全場兩個第一:通過率看 ZCode,每次通過花費看 Codex CLI。
  2. 換模型就要重看殼:五列的最便宜殼分別是 Codex CLI、Pi、OpenCode、Oh My Pi、Oh My Pi。
  3. 預算先看模型:模型帶來的平均任務花費差距,大於換殼帶來的差距。

實際選擇時,可以先在終榜上找到你所用模型那一列,再覈對協議是否接得上。推薦通過 API易 apiyi.com 用統一接口切換模型 ID,對候選組合做小規模試跑。


📚 參考資料

  1. FrontierHarness 直播榜:v1.1 終榜與各模型分列數據
  2. 鏈接: frontierharness.org/live/
  3. 說明: 2026-11-15 顯示 scored 26,040,是本文所有榜單數字的來源

  4. FrontierHarness 自測入口:用自己的 Key 在同一環境運行

  5. 鏈接: frontierharness.org/evaluate-your-own-harness/
  6. 說明: 適合復現某個 harness × model 組合

  7. Guanlan Dai 發佈帖:v1.1 的問題設定與規模說明

  8. 鏈接: x.com/guanlan/status/2120192585235046712
  9. 說明: 包含 248 次纔算最終、推理贊助方等背景信息

  10. API易 模型總表:各模型 ID 的價格、端點與分組

  11. 鏈接: docs.apiyi.com/models
  12. 說明: 本文價格的數據時間爲 2026-11-15 09:36(UTC+8)

作者:APIYI 技術團隊
技術交流:歡迎通過 API易 官網首頁聯繫我們,討論 harness 與模型的組合選型

延伸閱讀

Similar Posts