作者注：本文基於 YC Paper Club Harness Night 的公開分享，整理一套可落地的模型評估方法，幫助團隊分清分數差距究竟來自模型，還是來自 Harness。
同一個 Claude Opus，私有保留集上的最好成績是 30%；放進 Prime Agent 後，公開分享中的成績是 95.5%。如果只看排行榜，你可能會認爲模型發生了質變，但這組數字首先提醒我們：模型評估比較的往往是整套系統，而不只是模型。
這不是一篇勸你放棄排行榜的文章，也不是在宣稱 Harness 能讓任何模型無限提分。本文未做獨立複測，引用的成績均來自 InfoQ 整理的演講內容，重點是把其中的經驗轉換成可執行的評估流程。
核心價值：讀完本文，你將學會用 6 個步驟設計模型與 Harness 的對照實驗，判斷分數差距來自哪裏，並得出更可靠的選型結論。
換 Harness 成績翻倍：模型評估核心要點
Harness 是 LLM 與外部世界之間的一層系統，負責提供持久狀態、工具和計算能力。Seth Karten 用了一個類比：裸 LLM 像圖靈機，Harness 像能讀寫外部內存的馮·諾依曼計算機。評估一個 Agent 時，模型的推理能力和這層系統的表達力會同時影響結果。
下表列出分享中與 ARC-AGI 相關的部分公開數據。這些成績來自不同模型、Harness 或評估配置，不能直接當作模型排名使用。
| 配置 | 公開成績 | 閱讀時要注意什麼 |
|---|---|---|
| Claude Opus，私有保留集驗證 | 最好成績 30% | 這是分享中的基線，不代表所有運行條件 |
| Prime Agent + Opus | 95.5% | 資料未逐項披露它與基線的全部差異，不宜只歸因於單一變量 |
| Prime Agent + GPT-5.6 Sol | 78% | 這是完成沙盒隔離後的成績 |
| Prime Agent + GPT-5.6 Terra | 25.7% | 同一 Harness 下，不同模型的差距依然明顯 |
| Nvidia AVO | 100% | 分享只給出結果，比較前還需要覈對具體配置 |
Harness 與模型評估的關係
Prime Agent 把上下文分成三層：L1 是模型權重，L2 是活躍上下文和 REPL，L3 是文件系統這類調度狀態。Harness 在層與層之間做壓縮、增刪改查和 refinement，作用接近緩存加垃圾回收。這意味着同一個模型換一套 Harness，能用到的記憶和計算能力都可能發生變化。
但這不代表模型不重要。Prime Agent 在 ARC-AGI 上表現突出，在 Oolong、Emulator Bench 等長週期評估中卻主要是持平或略好，GPU 內核任務也大致持平。任務類型決定了 Harness 能放大多少差距，所以不能把某一項成績外推到所有場景。
模型評估中最容易比錯的 5 個變量
| 變量 | 常見的錯誤比較 | 應該記錄什麼 |
|---|---|---|
| 模型 | 只寫系列名，不寫具體版本 | 模型 ID、實際調用記錄、回退或切換情況 |
| Harness | 把默認配置當成模型能力 | 工具、系統提示詞、子 Agent、記憶和壓縮機制 |
| 預算 | A 跑到平臺期，B 提前停止 | Token、實際時間、費用、提前停止條件 |
| 評估集 | 拿公開集成績對比私有集成績 | 數據集版本、隔離方式、是否存在信息泄漏 |
| 評判方式 | 只讓 LLM 判斷修復或答案是否成功 | 判分規則、人工抽檢比例、爭議樣本 |
實踐建議：如果要在同一套評估流程中比較多個模型，可以通過 API易 apiyi.com 調用本文涉及的模型，減少接入差異。API易 兼容 OpenAI 與 Anthropic 接口格式，具體模型名稱和接入方式請以 docs.apiyi.com 文檔爲準。
Harness 模型評估快速上手：6 個步驟
下面的流程適合模型選型、Agent 升級和內部基準測試。你不需要一開始就搭建龐大的評估平臺，先把變量記錄完整，再逐步增加任務和模型。
步驟 1：寫清模型評估的比較對象
先用一句話定義實驗問題，例如“在相同 Harness 和預算下，比較兩個模型完成內部編碼任務的能力”。如果問題寫成“哪個 Agent 更好”，比較對象就是模型與 Harness 的組合，結論也不能寫成“哪個模型更強”。
評估規格至少要固定 model、系統提示詞、工具列表、max_tokens、最大輪數和總預算。如果 Harness 允許 Agent 自主選擇運行時，還要記錄每一步實際使用的模型。QM 的設計就允許 Agent 在遇到拒絕時切換到其他模型，此時最終分數已經不再屬於單一模型。
步驟 2：隔離 Harness 評估環境和數據
Seth 曾把社區排行榜的系統提示詞放進 Prime Agent，第一次運行得到 99.9%。他檢查日誌後發現自己在作弊，隨後花了一天做沙盒隔離，GPT-5.6 Sol 的成績變爲 78%。高分不一定錯誤，但異常高分必須先查日誌。
檢查時重點看三件事：Agent 能否讀到答案或歷史結果，提示詞是否包含評估集專屬信息，工具調用是否超出了預定權限。對公開基準之外的任務，還要預留一組不參與調優的保留樣本，防止提示詞和 Harness 過擬合。
步驟 3：用“模型 × Harness”矩陣比較
不要只跑“模型 A + Harness A”和“模型 B + Harness B”，因爲兩個變量同時變化後無法歸因。最小方案是 2 × 2 矩陣：兩個模型分別在兩套 Harness 中運行，並保持任務集和預算一致。
| 矩陣結果 | 更可能的解釋 | 下一步動作 |
|---|---|---|
| 換模型明顯變化，換 Harness 變化小 | 當前任務更依賴模型能力 | 優先做模型選型 |
| 換 Harness 明顯變化，換模型變化小 | 系統能力是主要瓶頸 | 優先改進工具和上下文管理 |
| 兩者交叉影響明顯 | 模型與 Harness 存在適配關係 | 按組合選型，不寫單一排名 |
| 兩者都無明顯變化 | 任務太簡單、太難或判分不敏感 | 重新設計評估集與指標 |
對照實驗建議：矩陣實驗需要頻繁更換模型。你可以通過 API易 apiyi.com 使用統一的賬號和接口配置調用不同模型，並在實驗記錄中保留模型 ID，方便後續追溯。
步驟 4：對齊預算並觀察模型性能平臺期
Seth 在分享中指出，如果一個模型跑得不夠久，或者在預算耗盡後停止，而另一個模型繼續工作，你既沒有按相同支出比較，也隱藏了真實性能。更合理的做法是設置多個預算點，觀察分數隨 Token 或時間增長的曲線。
QM 團隊的經驗也說明了預算的重要性。他們發現 Agent 經常過早放棄，於是嘗試“磨礪工具”：爲目標設定預算，未達到實際時間或 Token 消耗前不允許放棄，研究輸出因此變好。所以評估規格不僅要寫預算上限，還要寫清楚是否存在最低投入要求。
步驟 5：對 Harness 做消融測試
看到 Harness 帶來提升後，下一步是找出提升來自哪項能力。Prime Agent 強調表達力，認爲壓縮、Python REPL、編程式子 Agent、狀態訪問和反饋機制都不應輕易移除，但在你的任務中，每項能力的實際貢獻仍需測試。
做法是一次只關閉一項能力，例如關閉 REPL、關閉子 Agent 或關閉長期記憶，其他配置保持不變。如果關閉後分數基本不變，費用卻明顯下降，這項能力可能暫時不值得保留。自動研究這類高方差任務則要重複運行多輪，因爲 Seth 也提到，這類任務很難直接歸因到 Harness 或模型。
步驟 6：覈算成本並加入人工複覈
Seth 還提到，他用 Hermes Agent 跑評估時很快花掉了 5,000 美元，卻沒有看到明顯提升，只能中斷。這不代表 Hermes Agent 的能力上限，但足以說明成本性能比應當進入評估結論。最終報告建議同時列出成功率、完成時間、Token 消耗和單次成功成本。
計算費用時不要把價格寫死在評估腳本的說明裏。模型的輸入輸出單價、緩存價格和計費口徑，請以 API易 價格頁 https://docs.apiyi.com/models 的實際數據爲準，並在報告中標註查詢日期。
判分環節同樣要保留人工抽檢。QM 團隊發現，讓 LLM 評判修復結果時會出現“主角綜合症”：它只看到大象的一部分，看不到整個系統。涉及業務流程時還要測試權限邊界，因爲 Agent 對社交情境的理解較差，特權信息可能泄漏到不該出現的上下文中。
如何用 API 落地模型評估矩陣
實際執行時，建議把評估拆成任務集、運行配置和結果記錄三部分。這樣更換模型或 Harness 時，只需要修改一個配置項，而不必重寫整套流程。
| 配置項 | 建議記錄內容 | 說明 |
|---|---|---|
| 接口格式 | OpenAI 兼容或 Anthropic 格式 | 不同格式的工具調用和消息結構可能不同，需要單獨驗證 |
| 接入地址與密鑰 | base_url、環境變量名稱 |
地址以 docs.apiyi.com 文檔爲準，密鑰不要寫入評估報告 |
| 運行參數 | model、max_tokens、最大輪數、重複次數 |
確保每次實驗都能復現 |
| 費用口徑 | 輸入、輸出、緩存和查詢日期 | 以 API易 價格頁 docs.apiyi.com/models 的實際數據爲準 |
| 運行結果 | 分數、失敗原因、Token、時長、調用日誌 | 用於分析平臺期和成本性能比 |
如果你的 Harness 同時支持兩種接口，建議先用同一模型做一次格式對照。這樣可以確認消息轉換、工具定義和流式返回沒有影響結果，避免把接入問題誤判成模型能力差異。
接入提示：API易 提供本文涉及模型的 API 調用，兼容 OpenAI 與 Anthropic 接口格式。開始實驗前，請在 docs.apiyi.com 覈對當前可用模型和調用方式，再把模型 ID 寫入評估規格。
常見問題 FAQ
Q1: 什麼是模型評估中的 Harness？
Harness 是連接模型與外部世界的系統層，通常包括循環控制、上下文管理、工具、子 Agent、記憶和狀態訪問。它決定了模型能看到什麼、能調用什麼，以及能運行多久。
Q2: Harness 分數更高，能說明模型變強了嗎？
不能。權重不變時，分數提升更可能說明系統釋放了更多能力，或者配置更適合這個任務。如果 Harness、預算和模型同時變化，就無法單獨歸因，也可能是評估環境存在泄漏。
Q3: 什麼時候需要重新做模型評估？
模型版本、系統提示詞、工具權限、壓縮策略或業務任務發生變化時，都應重新評估。Harness 領域迭代很快，本文數據來自 2026 年 11 月 InfoQ 發佈的整理內容，後續成績可能發生變化。
Q4: 這套模型評估方法適合哪些場景？
主要適合以下場景：
– **內部編碼 Agent 選型**：比較模型和 Harness 組合的任務完成率。
– **長週期研究任務**：觀察預算增加後的平臺期和結果方差。
– **企業 Agent 上線前驗證**：同時測試質量、成本和權限邊界。
Q5: 如何快速接入多個模型進行 Harness 對比？
可以先確定評估任務和模型清單，再通過 API易 apiyi.com 接入。平臺提供本文涉及模型的 API 調用，兼容 OpenAI 與 Anthropic 接口格式。具體模型 ID 和配置方法請查看 docs.apiyi.com 文檔，並在實驗中保持其他變量不變。
Q6: 評估報告中的模型價格應該怎麼寫？
建議只引用經過覈實的價格數據，並寫明查詢日期。模型的輸入輸出單價、緩存價格和計費口徑，都應以 API易 價格頁 https://docs.apiyi.com/models 的實際數據爲準，不要沿用舊錶或估算值。
Q7: 這套 Harness 評估方法有哪些限制？
矩陣實驗、重複運行和人工複覈都會增加時間與費用。長週期任務的方差也可能很高，即使控制了主要變量，仍然難以精確歸因。因此，它更適合用於支持決策，不應把一次結果當成絕對排名。
Harness 模型評估核心要點 Key Takeaways
- 先定義比較對象：分清比較的是模型，還是模型與 Harness 的組合。
- 異常高分先查日誌：99.9% 的案例說明，隔離環境是評估的前提。
- 用矩陣拆開變量：通過 API易 接入多個模型，再做模型 × Harness 對照。
- 預算必須對齊：在多個預算點觀察曲線，找到真實平臺期。
- 消融定位貢獻：一次關閉一項能力，確認提升來自哪裏。
- 成本數據要覈實：價格和計費口徑以 API易 價格頁爲準。
- 保留人工判斷：LLM 評判可能片面，權限風險也需要專門測試。
總結
“換 Harness 成績就翻倍”值得重視，但它不應被簡單理解爲“模型不重要”。分享中的數據既展示了 Harness 的放大作用，也說明不同模型和任務之間仍有明顯差距，可靠的結論必須建立在受控實驗之上。
落地時可以優先記住三點：
- 評估對象要寫清楚：記錄模型、Harness、預算、評估集和評判方式。
- 實驗設計要能歸因：用矩陣實驗和消融測試拆開變量，並隔離評估環境。
- 結論要面向場景：同時看平臺期、成本性能比、人工複覈結果和權限風險。
如果你準備驗證自己的模型組合，可以通過 API易 apiyi.com 接入本文涉及的模型，再按照 docs.apiyi.com 文檔完成配置。涉及費用測算時，請查閱 https://docs.apiyi.com/models 獲取當前價格數據。
📚 參考資料
- InfoQ：同一個模型從 30 分到 95 分：拉開差距的不是模型，是 Harness
- 鏈接：
infoq.cn/article/C1C1DThg8z1Dy0rZAmLB -
說明： 本文引用的成績、案例和設計觀點均來自這篇整理文章。
-
YC Paper Club Harness Night 演講視頻
- 鏈接：
youtube.com/watch?v=n9xKblqyQ28 -
說明： 可查看 Prime Agent、OpenJarvis 和 QM 三場分享的完整語境。
-
API易 文檔中心
- 鏈接：
docs.apiyi.com -
說明： 用於覈對可用模型、接口格式和接入配置。
-
API易 模型價格頁
- 鏈接：
docs.apiyi.com/models - 說明： 模型單價、緩存價格和計費口徑均以此頁面的實際數據爲準。
作者：APIYI 技術團隊
技術交流：如需瞭解模型接入方式，歡迎訪問 API易 官網 apiyi.com，更多資料可查閱 docs.apiyi.com 文檔中心。
