Примечание автора: в этой статье разбирается только итоговая таблица FrontierHarness v1.1 после завершения всех 26,040 запусков: сравнение 21 харнесса по моделям и сопоставление с протоколами и ценами, которые фактически доступны для ID соответствующих моделей на APIYI.
Если вы уже пользуетесь Codex CLI, Claude Code, OpenCode, Pi и другими агентами для программирования и часто меняете модель под капотом, то вопрос «какой харнесс лучше», скорее всего, не имеет одного универсального ответа. 2026-11-10 Guanlan Dai из Runta запустил FrontierHarness v1.1 и сразу поставил вопрос: когда меняешь модель, стоит ли менять и харнесс? По состоянию на 2026-11-15 live-таблица показывает: running 0, scored 26,040; матрица 21 харнесс × 5 моделей × 62 задачи × 4 попытки полностью отработана.
Это не разбор рейтинга, где «один харнесс всех победил по всем статьям». В итоговой таблице лидер по pass rate и самый дешёвый в расчёте на один успешный прогон — не один и тот же харнесс, а у каждой из пяти моделей самый дешёвый харнесс тоже свой. В статье я разберу эти выводы по моделям и по пунктам.
Главная ценность: после прочтения у вас будет сравнение итоговой таблицы FrontierHarness, разделённое по моделям; вы поймёте, на какую колонку смотреть при смене модели, какие прежние цифры больше не актуальны и какой протокол нужно проверить перед подключением.

Методика финального рейтинга FrontierHarness: прежде чем решать, какой harness лучше, посмотрите на правила
Все запуски FrontierHarness выполняются в Runta runtime и используют один и тот же набор ограничений ресурсов. Чтобы результат считался окончательным, каждая комбинация harness × model должна выполнить 248 запусков, поэтому позиции в прямой трансляции постоянно меняются по мере поступления новых результатов. В таблице ниже собрана методика подсчёта очков финального рейтинга v1.1 — все дальнейшие сравнения опираются на неё.
| Пункт методики | Настройка финального рейтинга v1.1 | Смысл для сравнения |
|---|---|---|
| Датасет | [email protected], 62 задачи |
Все harness выполняют один и тот же набор заданий |
| Масштаб | 21 harness, 4 попытки на задачу, 248 запусков на комбинацию, 5,208 запусков на модель, всего 26,040 запусков | Одинаковый знаменатель в каждой ячейке — можно сравнивать по горизонтали |
| Среда выполнения | 1–4 vCPU, 2–8 GB памяти, 32 GB диска, тайм-аут на задачу от 15 минут до 8 часов | Исключает различия между машинами |
| Настройки инференса | Провайдер инференса — Baseten, у всех пяти моделей effort равен max | Переменные со стороны модели унифицированы |
| Доля прохождений | Число успешных прохождений ÷ учитываемые попытки; тайм-ауты и reward hacking считаются неудачей, инфраструктурные ошибки не учитываются | Подглядывание в ответ не приносит баллов |
| Затраты | Цена из каталога × отчётные токены | Это алгоритм рейтинга, а не счёт от какой-либо платформы |
| Уровень доверия | 95% bootstrap по задачам | Места с очень маленькой разницей стоит интерпретировать осторожно |
Несколько наборов цифр часто пересылают, но ни один из них не относится к финальному рейтингу v1.1. В v1.0 тестировали только одну модель Kimi K3: 9 harness, 12 конфигураций, 360 запусков; доля успешных прохождений Codex 66,7% и медианная стоимость задачи $3.47 тоже относятся к v1.0. В промежуточном снимке от 2026-11-11 стоимость одного успешного прохождения составляла от $0.57 до $1.32, а доля прохождений — от 56,2% до 77,6%; это также состояние на середине дистанции. В тот же день кто-то написал: «У GLM-5.3 лучше всего KimiCode, у Kimi-K3 — Codex», но после пересчёта по стоимости одного успешного прохождения в финальном рейтинге эти утверждения перестают быть верными.
Какой harness лучше: сравнение общего финального рейтинга FrontierHarness
В таблице ниже собраны результаты 21 harness на пяти моделях, отсортированные по стоимости успешного прохождения — от низкой к высокой. Все суммы в долларах рассчитаны в финальном рейтинге FrontierHarness по каталожным ценам с учётом заявленных токенов.
| Место | harness | Стоимость успешного прохождения | Средняя стоимость задачи | Доля успешных прохождений |
|---|---|---|---|---|
| 1 | Codex CLI | $0.937 | $0.573 | 61.1% |
| 2 | Pi | $0.976 | $0.563 | 57.7% |
| 3 | Oh My Pi | $0.983 | $0.564 | 57.3% |
| 4 | ZCode | $1.06 | $0.659 | 61.9% |
| 5 | KimiCode | $1.09 | $0.653 | 60.2% |
| 6 | OpenCode | $1.12 | $0.646 | 57.4% |
| 7 | Maka | $1.13 | $0.654 | 57.7% |
| 8 | MiniMax Code | $1.14 | $0.647 | 56.8% |
| 9 | DeepSeek Harness: Minimal | $1.15 | $0.661 | 57.4% |
| 10 | Hermes Agent | $1.16 | $0.692 | 59.9% |
| 11 | Cline CLI | $1.19 | $0.689 | 57.7% |
| 12 | Grok Build | $1.20 | $0.723 | 60.0% |
| 13 | Alma | $1.22 | $0.731 | 59.7% |
| 14 | DeepSeek Harness: Standard | $1.27 | $0.697 | 55.0% |
| 15 | DeepSeek Harness: Creator | $1.27 | $0.713 | 56.1% |
| 16 | mini-SWE-agent | $1.29 | $0.757 | 58.6% |
| 17 | DeepSeek Harness: Code | $1.32 | $0.732 | 55.2% |
| 18 | Exo | $1.36 | $0.691 | 50.6% |
| 19 | GitHub Copilot CLI | $1.38 | $0.787 | 56.9% |
| 20 | Claude Code | $1.55 | $0.915 | 58.9% |
| 21 | Antigravity CLI | $1.63 | $0.897 | 55.0% |
Два первых места в общем финальном рейтинге
По доле успешных прохождений первое место занимает ZCode (61.9%), а самая низкая стоимость успешного прохождения — у Codex CLI ($0.937). Эти два факта нужно рассматривать вместе. У Codex CLI доля успешных прохождений 61.1% — всего на 0.8 процентного пункта ниже, чем у ZCode, но успешное прохождение стоит примерно на $0.12 меньше. ZCode — более надёжный выбор, когда важнее проходить больше задач. Самый дорогой Antigravity CLI стоит $1.63 за успешное прохождение — примерно в 1.74 раза дороже Codex CLI. Доля успешных прохождений по всему рейтингу — от 50.6% у Exo до 61.9% у ZCode, разница составляет 11.3 процентного пункта.
Здесь легко ошибиться в двух местах. Во-первых, четыре DeepSeek Harness — это четыре конфигурации одной версии 0.2.1-rc.3 (Minimal, Standard, Creator и Code), а не четыре независимых продукта. Во-вторых, Alma занимает 13-е место по стоимости успешного прохождения и 6-е по доле успешных прохождений, уступая ZCode, Codex CLI, KimiCode, Grok Build и Hermes Agent. Утверждение из снимка на 11 ноября, где Alma была на 3-м месте с 72.7%, относится к промежуточным данным; ориентируйтесь на 59.7% в финальном рейтинге.
Какой harness лучше после смены модели: разбивка FrontierHarness по пяти моделям
Сводка по всем моделям говорит лишь о среднем уровне, а счёт определяет столбец с вашей моделью. В таблице ниже «самый дешёвый» всегда означает harness с минимальной стоимостью успешного прохождения на странице этой модели; в знаменателе доли успешных прохождений везде стоит 248.
| Модель | Средняя стоимость задачи (усреднение по harness) | Самый дешёвый harness по стоимости успешного прохождения | Максимальная доля успешных прохождений | Самый дорогой harness этой модели |
|---|---|---|---|---|
| GLM-5.3 | $0.968 | Codex CLI $0.803, 57.7% | ZCode 58.9%, $1.48 | Exo $2.72, 50.0% |
| GLM-5.3-Flash | $0.193 | Pi $0.223, 58.1% | Hermes Agent 60.9%, $0.328 | DeepSeek Harness: Minimal $0.484, 55.2% |
| DeepSeek-V4.1-Flash-1017 | $0.185 | OpenCode $0.177, 61.3% | ZCode 69.0%, $0.222 | Cline CLI $0.860, 63.3% |
| Muse Spark Open | $1.01 | Oh My Pi $1.21, 58.9% | Grok Build 59.7%, $1.77 | Claude Code $3.75, 52.8% |
| Kimi-K3 | $1.12 | Oh My Pi $1.45, 57.7% | mini-SWE-agent 64.9%, $2.02 | Antigravity CLI $2.73, 56.9% |

Вывод первый: у пяти моделей самая дешёвая обвязка — не одна и та же
Самые дешёвые харнессы в пяти столбцах — это Codex CLI, Pi, OpenCode, Oh My Pi и Oh My Pi, то есть четыре разные обвязки. Codex CLI, занявший первое место в общем зачёте, оказался самым дешёвым только в столбце GLM-5.3, а на GLM-5.3-Flash с $0.226 он всего чуть-чуть дороже Pi. Так что при смене модели нужно заново смотреть на харнесс — старую связку в лоб не перенесёшь.
Вывод второй: смена модели бьёт по кошельку сильнее, чем смена обвязки
Если усреднить стоимость одной задачи по моделям, разброс получается от $0.185 у DeepSeek-V4.1-Flash-1017 до $1.12 у Kimi-K3 — примерно в 6.1 раза. А если усреднить по харнессам, то в целом по всем моделям самая низкая средняя стоимость задачи у Pi — $0.563, самая высокая у Claude Code — $0.915, то есть разница меньше чем в 2 раза. Иными словами, в итоговом рейтинге FrontierHarness выбор модели влияет на стоимость задачи сильнее, чем выбор обвязки.
Вывод третий: собственный харнесс не стал самым дешёвым на своей же модели
В столбце DeepSeek-V4.1-Flash-1017, если считать стоимость одного успешного прохождения, четыре конфигурации DeepSeek Harness выглядят так: Code — $0.243 / 64.1%, Minimal — $0.256 / 63.7%, Creator — $0.273 / 64.9%, Standard — $0.292 / 62.1%. То есть он не взял ни самое дешёвое решение (у OpenCode $0.177), ни самый высокий процент прохождений (ZCode — 69.0%, 171/248; это, кстати, лучшая клетка по проценту прохождений среди всех комбинаций в обзоре). Claude Code в этой клетке даёт 68.1%, Codex CLI — $0.237 / 67.3%. Самый дорогой в этом столбце Cline CLI сжигает 6.77M токенов на одну попытку и стоит $0.860 за успешное прохождение — примерно в 4.9 раза дороже OpenCode, причём это соотношение касается только данной пары.
С Kimi-K3 та же история: по стоимости одного успешного прохождения собственный харнесс KimiCode даёт $1.84 / 60.1% — хуже, чем $1.45 у Oh My Pi, да и процент прохождений ниже, чем у mini-SWE-agent (64.9%), Alma и ZCode (64.1%). Самая низкая клетка по проценту прохождений тоже находится здесь: Exo + Kimi-K3 — 43.5%, 108/248.
Рекомендации по выбору: какой harness лучше для какой модели
Чтобы перевести выводы из таблицы выше в практическое русло, можно разбирать вопрос по принципу «какую модель используешь + что важнее — затраты или доля успешных проходов».
Если используешь GLM-5.3
- Важна стоимость одного успешного прохода: Codex CLI — $0.803, 57.7%, примерно 1.86M tokens на попытку.
- Важна доля успешных проходов: ZCode — 58.9%, но $1.48 за успешный проход, почти вдвое дороже Codex CLI.
- Обратите внимание: в этой колонке KimiCode показывает $1.55 / 58.1% — прежние промежуточные утверждения больше не актуальны.
Если используешь GLM-5.3-Flash
- Важна стоимость: Pi ($0.223) и Codex CLI ($0.226) практически идут ноздря в ноздрю, причём у второго доля успешных проходов чуть выше — 59.3%.
- Важна доля успешных проходов: Hermes Agent — 60.9% при $0.328 за успешный проход; ZCode — 60.1% и $0.264 — это компромиссный вариант.
Если используешь DeepSeek-V4.1-Flash-1017
- Важна стоимость: OpenCode — $0.177, 61.3%.
- Важна доля успешных проходов: ZCode — 69.0%, $0.222 за успешный проход, всего примерно на $0.045 дороже самого дешёвого варианта. В этой колонке погоня за высокой долей успешных проходов стоит совсем немного.
Если используешь Muse Spark Open или Kimi-K3
- Muse Spark Open: Oh My Pi — самый дешёвый ($1.21); у Grok Build самая высокая доля успешных проходов (59.7%); Claude Code — 9.79M tokens на попытку и $3.75 за успешный проход, самая дорогая ячейка в этой колонке.
- Kimi-K3: Oh My Pi — самый дешёвый ($1.45, 942k tokens на попытку); у mini-SWE-agent самая высокая доля успешных проходов (64.9%); Codex CLI — $1.78 / 63.7%, не проигрывает ни по одному из двух параметров.

Практические рекомендации: протоколы harness и соответствие ID моделей APIYI
Harness из рейтинга и эндпоинты платформы не всегда соответствуют друг другу один к одному. Хороший результат Codex CLI ещё не значит, что для вашего ID модели открыт Responses; с Claude Code та же история — сначала смотрите на столбец Messages. Каждый запуск задачи в harness расходует токены, а смена обвязки или модели напрямую меняет счёт, поэтому прежде чем проверять ту или иную ячейку, сверьтесь на странице модели APIYI (apiyi.com), какой протокол открыт для этого ID — Chat, Responses или Messages, — и только потом указывайте в base_url harness адрес https://api.apiyi.com/v1.
В таблице ниже — цены по умолчанию из документации APIYI на 2026-11-15 (доллары США / 1 млн токенов). Это отдельные цифры, не совпадающие с каталожными ценами из рейтинга выше, и смешивать их в расчётах нельзя.
| ID модели | Вход | Чтение кэша | Выход | Chat | Responses | Messages | Группа |
|---|---|---|---|---|---|---|---|
glm-5.3 |
$1.4 | $0.259 | $4.396 | поддерживается | не поддерживается | поддерживается | ClaudeCode 0.95×, Default, SVIP |
glm-5.3-flash |
$0.15 | $0.03 | $0.5 | поддерживается | На странице модели: не поддерживается | На странице модели: не поддерживается | CodexResponses, Default, SVIP |
deepseek-v4.1-flash-1017 |
$0.3 | $0.006 | $1.2 | поддерживается | В сводной таблице нет | поддерживается | ClaudeCode, Default, SVIP |
deepseek-v4.1-flash |
$0.3 | $0.006 | $1.2 | поддерживается | см. группу | поддерживается | дополнительно CodexResponses |
kimi-k3 |
$3 | $0.3 | $15 | поддерживается | не поддерживается | не поддерживается | Default, SVIP |
| Muse Spark Open | пока не добавлена | — | — | — | — | — | — |
Несколько моментов стоит разобрать по пунктам:
glm-5.3работает через Messages, и у него есть группа ClaudeCode с коэффициентом 0.95× — хорошо подходит для обвязок вроде Claude Code. Этот 0.95× относится только кglm-5.3. Через Responses он не работает.- У
glm-5.3-flashесть два расхождения между сводной таблицей и страницей модели, и я оставляю оба варианта: в группе указан CodexResponses, но на странице модели написано, что ни Responses, ни Messages не поддерживаются; в столбце типа сводной таблицы указано «текст», а на странице модели — что на входе могут быть текст, изображение и видео. deepseek-v4.1-flash-1017работает через Messages, но в сводной таблице не видно CodexResponses; если нужен Responses, смотрите на другую строку —deepseek-v4.1-flash.- У
kimi-k3только Chat Completions, поэтому перед использованием с Codex CLI или Claude Code нужно сначала проверить, умеет ли harness работать по протоколу Chat. - У бюджетной версии
deepseek-v4-1-flash-economy-261017такие цены: вход $0.24, выход $0.96, чтение кэша $0.006; открыт только chat. По актуальным данным APIYI, она загружает те же веса V4.1-Flash-1017, что и стандартная версия, но генерирует медленнее. Важно подчеркнуть: FrontierHarness этот ID не тестировал, так что процент прохождения из рейтинга на неё переносить нельзя. - Muse Spark Open пока не добавлена; мы разместим эту модель как можно скорее. Характеристики и цены смотрите в списке моделей на платформе.
💡 Как выбрать: сначала выберите по модели кандидатов-обёрток из нужного столбца итогового рейтинга, затем по протоколу отсейте несовместимые комбинации и в конце прогоните небольшой тест на одной и той же партии задач. Через APIYI apiyi.com одним ключом можно переключаться между
glm-5.3,kimi-k3и другими ID — так вы раздельно проверите две переменные: «смену модели» и «смену обёртки».
| Ваша цель | На какой столбец смотреть сначала | Кандидаты в итоговом рейтинге |
|---|---|---|
| Не уверены в модели и хотите надёжную обёртку | Общая сводка | Codex CLI (самый дешёвый в расчёте на успешный прогон), ZCode (самая высокая доля успешных прогонов) |
| Модель уже выбрана, нужно снизить расходы | Стоимость успешного прогона для соответствующей модели | См. столбец «Самый дешёвый» в таблице с разбивкой по пяти моделям |
| Модель уже выбрана, важен процент успешных прогонов | Доля успешных прогонов для соответствующей модели | См. столбец «Самый высокий» в таблице с разбивкой по пяти моделям |
| Хотите урезать общий бюджет | Средняя стоимость одной задачи для модели | Сначала меняйте модель, потом обёртку |
Частые вопросы (FAQ)
Q1: Что такое FrontierHarness и как он отвечает на вопрос «какой harness лучший»?
FrontierHarness — это бенчмарк harness для программирующих агентов, запущенный Runta. В v1.1 21 harness на 5 моделях прогоняют по 62 задачи, каждую по 4 раза, и в одной и той же среде считаются проходимость и затраты. На выходе получается не единственный чемпион, а отдельная колонка мест для каждой модели.
Q2: Так кто всё-таки первый — Codex CLI или ZCode?
Оба первые, но по разным критериям. По стоимости одного успешного прохождения Codex CLI занимает первое место с $0.937; по проходимости первое место у ZCode с 61.9%. Смотрите, что для вас важнее — бюджет или доля успешных задач.
Q3: Можно ли ещё опираться на 66.7% из v1.0 и рейтинг от 11 ноября?
Как на финальный рейтинг — нет. В v1.0 тестировались только Kimi K3 и 9 harness, всего 360 прогонов; 11 ноября — это снимок, когда v1.1 был выполнен наполовину. Прямая трансляция рейтинга 2026-11-15 показала, что к тому моменту уже завершено 26 040 прогонов, и ориентироваться стоит именно на этот финальный рейтинг.
Q4: На что обратить внимание, если запускаешь GLM-5.3 через Claude Code?
В финальном рейтинге нет отдельной ячейки для Claude Code на GLM-5.3, поэтому напрямую судить о его результате нельзя. На уровне протокола `glm-5.3` поддерживает Messages, а на APIYI apiyi.com есть группа ClaudeCode со скидкой 0.95×, так что условия для подключения есть.
Q5: Как воспроизвести отдельную ячейку в своей среде?
FrontierHarness предоставляет точку входа для самостоятельного тестирования — можно запустить тот же набор в той же среде со своим ключом модели. Со стороны платформы порядок такой: сначала убедитесь, что ID модели открывает протокол, нужный harness, затем задайте в harness `base_url` равным `https://api.apiyi.com/v1`; новые пользователи могут сначала прогнать несколько задач на бесплатном тестовом лимите.
Q6: Какие ограничения у этого финального рейтинга?
Доллары в рейтинге считаются как каталожная цена, умноженная на заявленные токены, и отличаются от реального счёта платформы; у всех моделей effort выставлен в max, при других значениях результаты могут измениться. Кроме того, разрывы между некоторыми местами попадают в 95% доверительный интервал, так что соседние места не стоит интерпретировать слишком буквально.
Какой harness лучше: ключевые выводы
- Нет универсальной оболочки: самые дешёвые harness для пяти моделей относятся к четырём разным оболочкам.
- Два первых места одновременно: у ZCode самая высокая доля успешных прохождений — 61.9%, а Codex CLI дешевле всех из расчёта за успешное прохождение — $0.937.
- Модель влияет на затраты сильнее, чем оболочка: средняя стоимость задачи между моделями различается примерно в 6.1 раза, а между оболочками — менее чем в 2 раза.
- Собственные оболочки не в выигрыше: по цене за успешное прохождение ни четыре варианта DeepSeek, ни KimiCode не стали самыми дешёвыми на собственных моделях.
- Лучшая ячейка: ZCode + DeepSeek-V4.1-Flash-1017 — 69.0%, 171/248.
- Перед подключением проверьте протокол: на странице модели APIYI сначала убедитесь, что доступны столбцы Chat, Responses и Messages, и только потом выбирайте оболочку.
Итог
Итоговая таблица FrontierHarness v1.1 отвечает на вопрос «какой harness лучше» так: всё зависит от модели.
- Два первых места по разным метрикам: по доле успешных прохождений лидирует ZCode, по цене за успешное прохождение — Codex CLI.
- Сменили модель — пересмотрите оболочку: самые дешёвые оболочки в пяти столбцах — это Codex CLI, Pi, OpenCode, Oh My Pi и Oh My Pi.
- В бюджете сначала смотрите на модель: разница в средней стоимости задачи, которую даёт модель, больше разницы от смены оболочки.
При выборе сначала найдите в итоговой таблице столбец вашей модели, а затем проверьте, совместим ли протокол. Рекомендуем через APIYI apiyi.com переключать ID моделей через единый интерфейс и устраивать небольшой пробный прогон для комбинаций-кандидатов.
📚 Справочные материалы
- Живой лидерборд FrontierHarness: финальная таблица v1.1 и данные по отдельным моделям
- Ссылка:
frontierharness.org/live/ -
Пояснение: по состоянию на 2026-11-15 показывает scored 26,040 — это источник всех цифр лидербордов в статье
-
Самопроверка в FrontierHarness: прогон в той же среде со своим ключом
- Ссылка:
frontierharness.org/evaluate-your-own-harness/ -
Пояснение: удобно, если нужно воспроизвести конкретную комбинацию harness × model
-
Пост Guanlan Dai: постановка задачи и масштаб v1.1
- Ссылка:
x.com/guanlan/status/2120192585235046712 -
Пояснение: там же предыстория — что окончательным считается результат после 248 прогонов, а также информация о спонсорах вычислений
-
Сводная таблица моделей APIYI: цены, эндпоинты и группы для каждого ID модели
- Ссылка:
docs.apiyi.com/models - Пояснение: цены в статье актуальны на 2026-11-15 09:36 (UTC+8)
Автор: техническая команда APIYI
Для связи: пишите нам через главную страницу сайта APIYI — обсудим подбор комбинаций harness и моделей
