|

Какой harness лучше? Сравнение рейтинга FrontierHarness

Какой harness лучше? Сравнение рейтинга FrontierHarness

Примечание автора: в этой статье разбирается только итоговая таблица FrontierHarness v1.1 после завершения всех 26,040 запусков: сравнение 21 харнесса по моделям и сопоставление с протоколами и ценами, которые фактически доступны для ID соответствующих моделей на APIYI.

Если вы уже пользуетесь Codex CLI, Claude Code, OpenCode, Pi и другими агентами для программирования и часто меняете модель под капотом, то вопрос «какой харнесс лучше», скорее всего, не имеет одного универсального ответа. 2026-11-10 Guanlan Dai из Runta запустил FrontierHarness v1.1 и сразу поставил вопрос: когда меняешь модель, стоит ли менять и харнесс? По состоянию на 2026-11-15 live-таблица показывает: running 0, scored 26,040; матрица 21 харнесс × 5 моделей × 62 задачи × 4 попытки полностью отработана.

Это не разбор рейтинга, где «один харнесс всех победил по всем статьям». В итоговой таблице лидер по pass rate и самый дешёвый в расчёте на один успешный прогон — не один и тот же харнесс, а у каждой из пяти моделей самый дешёвый харнесс тоже свой. В статье я разберу эти выводы по моделям и по пунктам.

Главная ценность: после прочтения у вас будет сравнение итоговой таблицы FrontierHarness, разделённое по моделям; вы поймёте, на какую колонку смотреть при смене модели, какие прежние цифры больше не актуальны и какой протокол нужно проверить перед подключением.

which-harness-is-best-frontierharness-leaderboard-comparison-ru-image-0


Table of Contents

Методика финального рейтинга FrontierHarness: прежде чем решать, какой harness лучше, посмотрите на правила

Все запуски FrontierHarness выполняются в Runta runtime и используют один и тот же набор ограничений ресурсов. Чтобы результат считался окончательным, каждая комбинация harness × model должна выполнить 248 запусков, поэтому позиции в прямой трансляции постоянно меняются по мере поступления новых результатов. В таблице ниже собрана методика подсчёта очков финального рейтинга v1.1 — все дальнейшие сравнения опираются на неё.

Пункт методики Настройка финального рейтинга v1.1 Смысл для сравнения
Датасет [email protected], 62 задачи Все harness выполняют один и тот же набор заданий
Масштаб 21 harness, 4 попытки на задачу, 248 запусков на комбинацию, 5,208 запусков на модель, всего 26,040 запусков Одинаковый знаменатель в каждой ячейке — можно сравнивать по горизонтали
Среда выполнения 1–4 vCPU, 2–8 GB памяти, 32 GB диска, тайм-аут на задачу от 15 минут до 8 часов Исключает различия между машинами
Настройки инференса Провайдер инференса — Baseten, у всех пяти моделей effort равен max Переменные со стороны модели унифицированы
Доля прохождений Число успешных прохождений ÷ учитываемые попытки; тайм-ауты и reward hacking считаются неудачей, инфраструктурные ошибки не учитываются Подглядывание в ответ не приносит баллов
Затраты Цена из каталога × отчётные токены Это алгоритм рейтинга, а не счёт от какой-либо платформы
Уровень доверия 95% bootstrap по задачам Места с очень маленькой разницей стоит интерпретировать осторожно

Несколько наборов цифр часто пересылают, но ни один из них не относится к финальному рейтингу v1.1. В v1.0 тестировали только одну модель Kimi K3: 9 harness, 12 конфигураций, 360 запусков; доля успешных прохождений Codex 66,7% и медианная стоимость задачи $3.47 тоже относятся к v1.0. В промежуточном снимке от 2026-11-11 стоимость одного успешного прохождения составляла от $0.57 до $1.32, а доля прохождений — от 56,2% до 77,6%; это также состояние на середине дистанции. В тот же день кто-то написал: «У GLM-5.3 лучше всего KimiCode, у Kimi-K3 — Codex», но после пересчёта по стоимости одного успешного прохождения в финальном рейтинге эти утверждения перестают быть верными.


Какой harness лучше: сравнение общего финального рейтинга FrontierHarness

В таблице ниже собраны результаты 21 harness на пяти моделях, отсортированные по стоимости успешного прохождения — от низкой к высокой. Все суммы в долларах рассчитаны в финальном рейтинге FrontierHarness по каталожным ценам с учётом заявленных токенов.

Место harness Стоимость успешного прохождения Средняя стоимость задачи Доля успешных прохождений
1 Codex CLI $0.937 $0.573 61.1%
2 Pi $0.976 $0.563 57.7%
3 Oh My Pi $0.983 $0.564 57.3%
4 ZCode $1.06 $0.659 61.9%
5 KimiCode $1.09 $0.653 60.2%
6 OpenCode $1.12 $0.646 57.4%
7 Maka $1.13 $0.654 57.7%
8 MiniMax Code $1.14 $0.647 56.8%
9 DeepSeek Harness: Minimal $1.15 $0.661 57.4%
10 Hermes Agent $1.16 $0.692 59.9%
11 Cline CLI $1.19 $0.689 57.7%
12 Grok Build $1.20 $0.723 60.0%
13 Alma $1.22 $0.731 59.7%
14 DeepSeek Harness: Standard $1.27 $0.697 55.0%
15 DeepSeek Harness: Creator $1.27 $0.713 56.1%
16 mini-SWE-agent $1.29 $0.757 58.6%
17 DeepSeek Harness: Code $1.32 $0.732 55.2%
18 Exo $1.36 $0.691 50.6%
19 GitHub Copilot CLI $1.38 $0.787 56.9%
20 Claude Code $1.55 $0.915 58.9%
21 Antigravity CLI $1.63 $0.897 55.0%

Два первых места в общем финальном рейтинге

По доле успешных прохождений первое место занимает ZCode (61.9%), а самая низкая стоимость успешного прохождения — у Codex CLI ($0.937). Эти два факта нужно рассматривать вместе. У Codex CLI доля успешных прохождений 61.1% — всего на 0.8 процентного пункта ниже, чем у ZCode, но успешное прохождение стоит примерно на $0.12 меньше. ZCode — более надёжный выбор, когда важнее проходить больше задач. Самый дорогой Antigravity CLI стоит $1.63 за успешное прохождение — примерно в 1.74 раза дороже Codex CLI. Доля успешных прохождений по всему рейтингу — от 50.6% у Exo до 61.9% у ZCode, разница составляет 11.3 процентного пункта.

Здесь легко ошибиться в двух местах. Во-первых, четыре DeepSeek Harness — это четыре конфигурации одной версии 0.2.1-rc.3 (Minimal, Standard, Creator и Code), а не четыре независимых продукта. Во-вторых, Alma занимает 13-е место по стоимости успешного прохождения и 6-е по доле успешных прохождений, уступая ZCode, Codex CLI, KimiCode, Grok Build и Hermes Agent. Утверждение из снимка на 11 ноября, где Alma была на 3-м месте с 72.7%, относится к промежуточным данным; ориентируйтесь на 59.7% в финальном рейтинге.


Какой harness лучше после смены модели: разбивка FrontierHarness по пяти моделям

Сводка по всем моделям говорит лишь о среднем уровне, а счёт определяет столбец с вашей моделью. В таблице ниже «самый дешёвый» всегда означает harness с минимальной стоимостью успешного прохождения на странице этой модели; в знаменателе доли успешных прохождений везде стоит 248.

Модель Средняя стоимость задачи (усреднение по harness) Самый дешёвый harness по стоимости успешного прохождения Максимальная доля успешных прохождений Самый дорогой harness этой модели
GLM-5.3 $0.968 Codex CLI $0.803, 57.7% ZCode 58.9%, $1.48 Exo $2.72, 50.0%
GLM-5.3-Flash $0.193 Pi $0.223, 58.1% Hermes Agent 60.9%, $0.328 DeepSeek Harness: Minimal $0.484, 55.2%
DeepSeek-V4.1-Flash-1017 $0.185 OpenCode $0.177, 61.3% ZCode 69.0%, $0.222 Cline CLI $0.860, 63.3%
Muse Spark Open $1.01 Oh My Pi $1.21, 58.9% Grok Build 59.7%, $1.77 Claude Code $3.75, 52.8%
Kimi-K3 $1.12 Oh My Pi $1.45, 57.7% mini-SWE-agent 64.9%, $2.02 Antigravity CLI $2.73, 56.9%

which-harness-is-best-frontierharness-leaderboard-comparison-ru-image-1

Вывод первый: у пяти моделей самая дешёвая обвязка — не одна и та же

Самые дешёвые харнессы в пяти столбцах — это Codex CLI, Pi, OpenCode, Oh My Pi и Oh My Pi, то есть четыре разные обвязки. Codex CLI, занявший первое место в общем зачёте, оказался самым дешёвым только в столбце GLM-5.3, а на GLM-5.3-Flash с $0.226 он всего чуть-чуть дороже Pi. Так что при смене модели нужно заново смотреть на харнесс — старую связку в лоб не перенесёшь.

Вывод второй: смена модели бьёт по кошельку сильнее, чем смена обвязки

Если усреднить стоимость одной задачи по моделям, разброс получается от $0.185 у DeepSeek-V4.1-Flash-1017 до $1.12 у Kimi-K3 — примерно в 6.1 раза. А если усреднить по харнессам, то в целом по всем моделям самая низкая средняя стоимость задачи у Pi — $0.563, самая высокая у Claude Code — $0.915, то есть разница меньше чем в 2 раза. Иными словами, в итоговом рейтинге FrontierHarness выбор модели влияет на стоимость задачи сильнее, чем выбор обвязки.

Вывод третий: собственный харнесс не стал самым дешёвым на своей же модели

В столбце DeepSeek-V4.1-Flash-1017, если считать стоимость одного успешного прохождения, четыре конфигурации DeepSeek Harness выглядят так: Code — $0.243 / 64.1%, Minimal — $0.256 / 63.7%, Creator — $0.273 / 64.9%, Standard — $0.292 / 62.1%. То есть он не взял ни самое дешёвое решение (у OpenCode $0.177), ни самый высокий процент прохождений (ZCode — 69.0%, 171/248; это, кстати, лучшая клетка по проценту прохождений среди всех комбинаций в обзоре). Claude Code в этой клетке даёт 68.1%, Codex CLI — $0.237 / 67.3%. Самый дорогой в этом столбце Cline CLI сжигает 6.77M токенов на одну попытку и стоит $0.860 за успешное прохождение — примерно в 4.9 раза дороже OpenCode, причём это соотношение касается только данной пары.

С Kimi-K3 та же история: по стоимости одного успешного прохождения собственный харнесс KimiCode даёт $1.84 / 60.1% — хуже, чем $1.45 у Oh My Pi, да и процент прохождений ниже, чем у mini-SWE-agent (64.9%), Alma и ZCode (64.1%). Самая низкая клетка по проценту прохождений тоже находится здесь: Exo + Kimi-K3 — 43.5%, 108/248.


Рекомендации по выбору: какой harness лучше для какой модели

Чтобы перевести выводы из таблицы выше в практическое русло, можно разбирать вопрос по принципу «какую модель используешь + что важнее — затраты или доля успешных проходов».

Если используешь GLM-5.3

  • Важна стоимость одного успешного прохода: Codex CLI — $0.803, 57.7%, примерно 1.86M tokens на попытку.
  • Важна доля успешных проходов: ZCode — 58.9%, но $1.48 за успешный проход, почти вдвое дороже Codex CLI.
  • Обратите внимание: в этой колонке KimiCode показывает $1.55 / 58.1% — прежние промежуточные утверждения больше не актуальны.

Если используешь GLM-5.3-Flash

  • Важна стоимость: Pi ($0.223) и Codex CLI ($0.226) практически идут ноздря в ноздрю, причём у второго доля успешных проходов чуть выше — 59.3%.
  • Важна доля успешных проходов: Hermes Agent — 60.9% при $0.328 за успешный проход; ZCode — 60.1% и $0.264 — это компромиссный вариант.

Если используешь DeepSeek-V4.1-Flash-1017

  • Важна стоимость: OpenCode — $0.177, 61.3%.
  • Важна доля успешных проходов: ZCode — 69.0%, $0.222 за успешный проход, всего примерно на $0.045 дороже самого дешёвого варианта. В этой колонке погоня за высокой долей успешных проходов стоит совсем немного.

Если используешь Muse Spark Open или Kimi-K3

  • Muse Spark Open: Oh My Pi — самый дешёвый ($1.21); у Grok Build самая высокая доля успешных проходов (59.7%); Claude Code — 9.79M tokens на попытку и $3.75 за успешный проход, самая дорогая ячейка в этой колонке.
  • Kimi-K3: Oh My Pi — самый дешёвый ($1.45, 942k tokens на попытку); у mini-SWE-agent самая высокая доля успешных проходов (64.9%); Codex CLI — $1.78 / 63.7%, не проигрывает ни по одному из двух параметров.

which-harness-is-best-frontierharness-leaderboard-comparison-ru-image-2

Практические рекомендации: протоколы harness и соответствие ID моделей APIYI

Harness из рейтинга и эндпоинты платформы не всегда соответствуют друг другу один к одному. Хороший результат Codex CLI ещё не значит, что для вашего ID модели открыт Responses; с Claude Code та же история — сначала смотрите на столбец Messages. Каждый запуск задачи в harness расходует токены, а смена обвязки или модели напрямую меняет счёт, поэтому прежде чем проверять ту или иную ячейку, сверьтесь на странице модели APIYI (apiyi.com), какой протокол открыт для этого ID — Chat, Responses или Messages, — и только потом указывайте в base_url harness адрес https://api.apiyi.com/v1.

В таблице ниже — цены по умолчанию из документации APIYI на 2026-11-15 (доллары США / 1 млн токенов). Это отдельные цифры, не совпадающие с каталожными ценами из рейтинга выше, и смешивать их в расчётах нельзя.

ID модели Вход Чтение кэша Выход Chat Responses Messages Группа
glm-5.3 $1.4 $0.259 $4.396 поддерживается не поддерживается поддерживается ClaudeCode 0.95×, Default, SVIP
glm-5.3-flash $0.15 $0.03 $0.5 поддерживается На странице модели: не поддерживается На странице модели: не поддерживается CodexResponses, Default, SVIP
deepseek-v4.1-flash-1017 $0.3 $0.006 $1.2 поддерживается В сводной таблице нет поддерживается ClaudeCode, Default, SVIP
deepseek-v4.1-flash $0.3 $0.006 $1.2 поддерживается см. группу поддерживается дополнительно CodexResponses
kimi-k3 $3 $0.3 $15 поддерживается не поддерживается не поддерживается Default, SVIP
Muse Spark Open пока не добавлена — — — — — —

Несколько моментов стоит разобрать по пунктам:

  • glm-5.3 работает через Messages, и у него есть группа ClaudeCode с коэффициентом 0.95× — хорошо подходит для обвязок вроде Claude Code. Этот 0.95× относится только к glm-5.3. Через Responses он не работает.
  • У glm-5.3-flash есть два расхождения между сводной таблицей и страницей модели, и я оставляю оба варианта: в группе указан CodexResponses, но на странице модели написано, что ни Responses, ни Messages не поддерживаются; в столбце типа сводной таблицы указано «текст», а на странице модели — что на входе могут быть текст, изображение и видео.
  • deepseek-v4.1-flash-1017 работает через Messages, но в сводной таблице не видно CodexResponses; если нужен Responses, смотрите на другую строку — deepseek-v4.1-flash.
  • У kimi-k3 только Chat Completions, поэтому перед использованием с Codex CLI или Claude Code нужно сначала проверить, умеет ли harness работать по протоколу Chat.
  • У бюджетной версии deepseek-v4-1-flash-economy-261017 такие цены: вход $0.24, выход $0.96, чтение кэша $0.006; открыт только chat. По актуальным данным APIYI, она загружает те же веса V4.1-Flash-1017, что и стандартная версия, но генерирует медленнее. Важно подчеркнуть: FrontierHarness этот ID не тестировал, так что процент прохождения из рейтинга на неё переносить нельзя.
  • Muse Spark Open пока не добавлена; мы разместим эту модель как можно скорее. Характеристики и цены смотрите в списке моделей на платформе.

💡 Как выбрать: сначала выберите по модели кандидатов-обёрток из нужного столбца итогового рейтинга, затем по протоколу отсейте несовместимые комбинации и в конце прогоните небольшой тест на одной и той же партии задач. Через APIYI apiyi.com одним ключом можно переключаться между glm-5.3, kimi-k3 и другими ID — так вы раздельно проверите две переменные: «смену модели» и «смену обёртки».

Ваша цель На какой столбец смотреть сначала Кандидаты в итоговом рейтинге
Не уверены в модели и хотите надёжную обёртку Общая сводка Codex CLI (самый дешёвый в расчёте на успешный прогон), ZCode (самая высокая доля успешных прогонов)
Модель уже выбрана, нужно снизить расходы Стоимость успешного прогона для соответствующей модели См. столбец «Самый дешёвый» в таблице с разбивкой по пяти моделям
Модель уже выбрана, важен процент успешных прогонов Доля успешных прогонов для соответствующей модели См. столбец «Самый высокий» в таблице с разбивкой по пяти моделям
Хотите урезать общий бюджет Средняя стоимость одной задачи для модели Сначала меняйте модель, потом обёртку

Частые вопросы (FAQ)

Q1: Что такое FrontierHarness и как он отвечает на вопрос «какой harness лучший»?

FrontierHarness — это бенчмарк harness для программирующих агентов, запущенный Runta. В v1.1 21 harness на 5 моделях прогоняют по 62 задачи, каждую по 4 раза, и в одной и той же среде считаются проходимость и затраты. На выходе получается не единственный чемпион, а отдельная колонка мест для каждой модели.

Q2: Так кто всё-таки первый — Codex CLI или ZCode?

Оба первые, но по разным критериям. По стоимости одного успешного прохождения Codex CLI занимает первое место с $0.937; по проходимости первое место у ZCode с 61.9%. Смотрите, что для вас важнее — бюджет или доля успешных задач.

Q3: Можно ли ещё опираться на 66.7% из v1.0 и рейтинг от 11 ноября?

Как на финальный рейтинг — нет. В v1.0 тестировались только Kimi K3 и 9 harness, всего 360 прогонов; 11 ноября — это снимок, когда v1.1 был выполнен наполовину. Прямая трансляция рейтинга 2026-11-15 показала, что к тому моменту уже завершено 26 040 прогонов, и ориентироваться стоит именно на этот финальный рейтинг.

Q4: На что обратить внимание, если запускаешь GLM-5.3 через Claude Code?

В финальном рейтинге нет отдельной ячейки для Claude Code на GLM-5.3, поэтому напрямую судить о его результате нельзя. На уровне протокола `glm-5.3` поддерживает Messages, а на APIYI apiyi.com есть группа ClaudeCode со скидкой 0.95×, так что условия для подключения есть.

Q5: Как воспроизвести отдельную ячейку в своей среде?

FrontierHarness предоставляет точку входа для самостоятельного тестирования — можно запустить тот же набор в той же среде со своим ключом модели. Со стороны платформы порядок такой: сначала убедитесь, что ID модели открывает протокол, нужный harness, затем задайте в harness `base_url` равным `https://api.apiyi.com/v1`; новые пользователи могут сначала прогнать несколько задач на бесплатном тестовом лимите.

Q6: Какие ограничения у этого финального рейтинга?

Доллары в рейтинге считаются как каталожная цена, умноженная на заявленные токены, и отличаются от реального счёта платформы; у всех моделей effort выставлен в max, при других значениях результаты могут измениться. Кроме того, разрывы между некоторыми местами попадают в 95% доверительный интервал, так что соседние места не стоит интерпретировать слишком буквально.


Какой harness лучше: ключевые выводы

  • Нет универсальной оболочки: самые дешёвые harness для пяти моделей относятся к четырём разным оболочкам.
  • Два первых места одновременно: у ZCode самая высокая доля успешных прохождений — 61.9%, а Codex CLI дешевле всех из расчёта за успешное прохождение — $0.937.
  • Модель влияет на затраты сильнее, чем оболочка: средняя стоимость задачи между моделями различается примерно в 6.1 раза, а между оболочками — менее чем в 2 раза.
  • Собственные оболочки не в выигрыше: по цене за успешное прохождение ни четыре варианта DeepSeek, ни KimiCode не стали самыми дешёвыми на собственных моделях.
  • Лучшая ячейка: ZCode + DeepSeek-V4.1-Flash-1017 — 69.0%, 171/248.
  • Перед подключением проверьте протокол: на странице модели APIYI сначала убедитесь, что доступны столбцы Chat, Responses и Messages, и только потом выбирайте оболочку.

Итог

Итоговая таблица FrontierHarness v1.1 отвечает на вопрос «какой harness лучше» так: всё зависит от модели.

  1. Два первых места по разным метрикам: по доле успешных прохождений лидирует ZCode, по цене за успешное прохождение — Codex CLI.
  2. Сменили модель — пересмотрите оболочку: самые дешёвые оболочки в пяти столбцах — это Codex CLI, Pi, OpenCode, Oh My Pi и Oh My Pi.
  3. В бюджете сначала смотрите на модель: разница в средней стоимости задачи, которую даёт модель, больше разницы от смены оболочки.

При выборе сначала найдите в итоговой таблице столбец вашей модели, а затем проверьте, совместим ли протокол. Рекомендуем через APIYI apiyi.com переключать ID моделей через единый интерфейс и устраивать небольшой пробный прогон для комбинаций-кандидатов.

📚 Справочные материалы

  1. Живой лидерборд FrontierHarness: финальная таблица v1.1 и данные по отдельным моделям
  2. Ссылка: frontierharness.org/live/
  3. Пояснение: по состоянию на 2026-11-15 показывает scored 26,040 — это источник всех цифр лидербордов в статье

  4. Самопроверка в FrontierHarness: прогон в той же среде со своим ключом

  5. Ссылка: frontierharness.org/evaluate-your-own-harness/
  6. Пояснение: удобно, если нужно воспроизвести конкретную комбинацию harness × model

  7. Пост Guanlan Dai: постановка задачи и масштаб v1.1

  8. Ссылка: x.com/guanlan/status/2120192585235046712
  9. Пояснение: там же предыстория — что окончательным считается результат после 248 прогонов, а также информация о спонсорах вычислений

  10. Сводная таблица моделей APIYI: цены, эндпоинты и группы для каждого ID модели

  11. Ссылка: docs.apiyi.com/models
  12. Пояснение: цены в статье актуальны на 2026-11-15 09:36 (UTC+8)

Автор: техническая команда APIYI
Для связи: пишите нам через главную страницу сайта APIYI — обсудим подбор комбинаций harness и моделей

Читайте также

Похожие записи