|

Qual harness é o melhor? Comparação do ranking FrontierHarness

Qual harness é o melhor? Comparação do ranking FrontierHarness

Nota do autor: este artigo interpreta apenas o placar final do FrontierHarness v1.1 após todas as 26,040 execuções, comparando 21 harnesses separadamente por modelo e verificando, no APIYI, os protocolos e preços realmente disponíveis para os IDs de modelo relevantes.

Se você já usa agentes de programação como Codex CLI, Claude Code, OpenCode e Pi e costuma trocar de modelo de base, provavelmente não existe uma resposta única para a pergunta “qual harness é o melhor”. Em 2026-11-10, Guanlan Dai, da Runta, deu início ao FrontierHarness v1.1, e a pergunta feita logo de cara foi: quando você troca de modelo, também deve trocar de harness? Até 2026-11-15, o placar ao vivo mostrava running 0 e scored 26,040, e 21 harnesses × 5 modelos × 62 tarefas × 4 tentativas já haviam sido concluídos por completo.

Esta não é uma interpretação de ranking do tipo “um único harness lidera em tudo”. No placar final, o harness com a maior taxa de aprovação e o mais barato por aprovação não são o mesmo; e o harness mais barato de cada um dos cinco modelos também não é o mesmo. Este artigo desmembra essas conclusões por modelo e explica cada célula, uma a uma.

Valor central: ao terminar este artigo, você terá uma comparação do placar final do FrontierHarness separada por modelo, saberá qual coluna observar ao trocar de modelo, quais números antigos não podem mais ser usados e qual protocolo conferir antes de integrar.

which-harness-is-best-frontierharness-leaderboard-comparison-pt-pt-image-0


Critérios da classificação final do FrontierHarness: antes de decidir qual harness é o melhor, olhe as regras

Todas as execuções do FrontierHarness rodam no runtime Runta, com o mesmo conjunto de limites de recursos. Cada combinação harness × model precisa completar 248 execuções para virar resultado final, então as posições mudam o tempo todo durante a transmissão ao vivo. A tabela abaixo resume os critérios de pontuação da classificação final da v1.1, e todas as comparações daqui em diante seguem o que está nela.

Item do critério Configuração da classificação final v1.1 O que significa na comparação
Conjunto de dados [email protected], 62 tarefas Todos os harnesses resolvem o mesmo conjunto de tarefas
Escala 21 harnesses, 4 execuções por tarefa, 248 execuções por combinação, 5.208 por modelo, 26.040 no total O denominador de cada célula é idêntico, o que permite comparar lado a lado
Ambiente de execução 1–4 vCPU, 2–8 GB de memória, 32 GB de disco, timeout de 15 minutos a 8 horas por tarefa Elimina diferenças de máquina
Configuração de inferência Provedor de inferência Baseten, effort dos cinco modelos em max Variáveis do lado do modelo padronizadas
Taxa de aprovação Aprovações ÷ tentativas contabilizadas; timeout e reward hacking contam como falha, erros de infraestrutura não entram Espiar a resposta não rende ponto
Custo Preço de catálogo × tokens reportados É o algoritmo do ranking, não a fatura de nenhuma plataforma
Confiança bootstrap de 95% por tarefa Posições com diferenças muito pequenas devem ser lidas com cautela

Existem alguns conjuntos de números que circulam bastante, mas nenhum deles é da classificação final v1.1. A v1.0 testou só um modelo, o Kimi K3, com 9 harnesses, 12 configurações e 360 execuções — a taxa de aprovação de 66.7% do Codex e o custo mediano por tarefa de $3.47 são ambos da v1.0. No snapshot intermediário de 2026-11-11, o custo por aprovação ficava entre $0.57 e $1.32 e a taxa de aprovação entre 56.2% e 77.6%; isso também é apenas o estado de meio de caminho. No mesmo dia alguém escreveu que “para o GLM-5.3 o melhor é o KimiCode e para o Kimi-K3 o melhor é o Codex” — depois de reordenar tudo pelo custo por aprovação da classificação final, nenhuma dessas afirmações se sustenta.


Qual harness é o melhor: comparação do ranking final geral do FrontierHarness

A tabela abaixo reúne os resultados de 21 harnesses em cinco modelos e os ordena por “custo por aprovação”, do menor para o maior. Todos os valores em dólares foram calculados pelo ranking final do FrontierHarness com base no preço de tabela multiplicado pelos tokens reportados.

Posição harness Custo por aprovação Custo médio por tarefa Taxa de aprovação
1 Codex CLI $0.937 $0.573 61.1%
2 Pi $0.976 $0.563 57.7%
3 Oh My Pi $0.983 $0.564 57.3%
4 ZCode $1.06 $0.659 61.9%
5 KimiCode $1.09 $0.653 60.2%
6 OpenCode $1.12 $0.646 57.4%
7 Maka $1.13 $0.654 57.7%
8 MiniMax Code $1.14 $0.647 56.8%
9 DeepSeek Harness: Minimal $1.15 $0.661 57.4%
10 Hermes Agent $1.16 $0.692 59.9%
11 Cline CLI $1.19 $0.689 57.7%
12 Grok Build $1.20 $0.723 60.0%
13 Alma $1.22 $0.731 59.7%
14 DeepSeek Harness: Standard $1.27 $0.697 55.0%
15 DeepSeek Harness: Creator $1.27 $0.713 56.1%
16 mini-SWE-agent $1.29 $0.757 58.6%
17 DeepSeek Harness: Code $1.32 $0.732 55.2%
18 Exo $1.36 $0.691 50.6%
19 GitHub Copilot CLI $1.38 $0.787 56.9%
20 Claude Code $1.55 $0.915 58.9%
21 Antigravity CLI $1.63 $0.897 55.0%

Os dois líderes do ranking final geral

A maior taxa de aprovação do ranking geral é do ZCode (61.9%), e o menor custo por aprovação é do Codex CLI ($0.937); essas duas afirmações precisam ser lidas em conjunto. A taxa de aprovação do Codex CLI é 61.1%, apenas 0.8 ponto percentual abaixo do ZCode, mas seu custo por aprovação é cerca de $0.12 menor; já o ZCode é a escolha mais estável quando a prioridade é “aprovar mais tarefas”. O Antigravity CLI, o mais caro, custa $1.63 por aprovação, cerca de 1.74 vezes o valor do Codex CLI. As taxas de aprovação do ranking geral vão de 50.6% do Exo a 61.9% do ZCode, uma diferença de 11.3 pontos percentuais.

Há dois pontos que podem ser facilmente mal interpretados. Primeiro, os quatro DeepSeek Harness são quatro configurações da mesma versão 0.2.1-rc.3 (Minimal, Standard, Creator e Code), e não quatro produtos independentes. Segundo, Alma ocupa a 13ª posição por custo por aprovação e a 6ª por taxa de aprovação, atrás de ZCode, Codex CLI, KimiCode, Grok Build e Hermes Agent. A afirmação de que Alma ficou em 3º lugar com 72.7% no snapshot de 11 de novembro é um dado intermediário; o valor válido é o 59.7% do ranking final.


Qual harness é melhor depois de trocar de modelo: FrontierHarness com cinco modelos em colunas separadas

O resumo geral só mostra a média — o que realmente decide a conta é a coluna do modelo que você tem em mãos. Na tabela abaixo, “mais barato” sempre se refere ao harness com o menor custo por aprovação na página daquele modelo, e o denominador do número de aprovações é 248 em todos os casos.

Modelo Custo médio por tarefa (média entre harnesses) Mais barato por aprovação Maior taxa de aprovação Mais caro no mesmo modelo
GLM-5.3 $0.968 Codex CLI $0.803, 57.7% ZCode 58.9%, $1.48 Exo $2.72, 50.0%
GLM-5.3-Flash $0.193 Pi $0.223, 58.1% Hermes Agent 60.9%, $0.328 DeepSeek Harness: Minimal $0.484, 55.2%
DeepSeek-V4.1-Flash-1017 $0.185 OpenCode $0.177, 61.3% ZCode 69.0%, $0.222 Cline CLI $0.860, 63.3%
Muse Spark Open $1.01 Oh My Pi $1.21, 58.9% Grok Build 59.7%, $1.77 Claude Code $3.75, 52.8%
Kimi-K3 $1.12 Oh My Pi $1.45, 57.7% mini-SWE-agent 64.9%, $2.02 Antigravity CLI $2.73, 56.9%

which-harness-is-best-frontierharness-leaderboard-comparison-pt-pt-image-1

Conclusão 1: o harness mais barato não é o mesmo para os cinco modelos

Os harnesses mais baratos das cinco colunas são Codex CLI, Pi, OpenCode, Oh My Pi e Oh My Pi — quatro harnesses diferentes. O Codex CLI, primeiro colocado na classificação geral, só conquistou o menor custo na coluna do GLM-5.3; no GLM-5.3-Flash, com $0.226, ficou apenas um pouco mais caro que o Pi. Então, ao trocar de modelo, é preciso reavaliar o harness: não dá para simplesmente reaproveitar a combinação antiga.

Conclusão 2: trocar de modelo pesa mais no custo do que trocar de harness

Olhando o custo médio por tarefa por modelo, ele vai dos $0.185 do DeepSeek-V4.1-Flash-1017 aos $1.12 do Kimi-K3 — cerca de 6.1 vezes. Já por harness, o custo médio por tarefa considerando todos é o menor no Pi ($0.563) e o maior no Claude Code ($0.915), uma diferença de menos de 2 vezes. Ou seja, na classificação final do FrontierHarness, escolher primeiro o modelo tem mais impacto no custo por tarefa do que escolher primeiro o harness.

Conclusão 3: o harness da própria casa não foi o mais barato no próprio modelo

Na coluna DeepSeek-V4.1-Flash-1017, olhando o custo por aprovação, as quatro faixas do DeepSeek Harness são Code $0.243 / 64.1%, Minimal $0.256 / 63.7%, Creator $0.273 / 64.9% e Standard $0.292 / 62.1%. Ou seja: não pegou nem o menor custo (OpenCode, $0.177) nem a maior taxa de aprovação (ZCode 69.0%, 171/248 — que também é a célula com a maior taxa de aprovação entre todas as combinações do teste). O Claude Code nessa célula fica em 68.1%, e o Codex CLI em $0.237 / 67.3%. O Cline CLI, o mais caro da mesma coluna, consome 6.77M tokens por tentativa e custa $0.860 por aprovação, cerca de 4.9 vezes o OpenCode — essa proporção vale só para esse par.

A coluna Kimi-K3 segue a mesma lógica: pelo custo por aprovação, o harness da casa, KimiCode, fica em $1.84 / 60.1%, atrás do Oh My Pi com $1.45, e a taxa de aprovação também é menor que os 64.9% do mini-SWE-agent e os 64.1% de Alma e ZCode. A célula com a menor taxa de aprovação de todo o teste também está aqui: Exo + Kimi-K3, 43.5%, 108/248.


Recomendações por cenário: qual harness escolher para cada modelo

Dá para levar as conclusões de cada coluna para a escolha prática separando por «qual modelo você usa + o que pesa mais: custo ou taxa de aprovação».

Com GLM-5.3

  • Se o foco é o custo por aprovação: Codex CLI, $0.803, 57.7%, cerca de 1.86M tokens por tentativa.
  • Se o foco é a taxa de aprovação: ZCode, 58.9%, mas a $1.48 por aprovação — quase o dobro do Codex CLI.
  • Atenção: o KimiCode nessa coluna é $1.55 / 58.1%, então o comentário intermediário anterior já não se sustenta.

Com GLM-5.3-Flash

  • Se o foco é custo: Pi ($0.223) e Codex CLI ($0.226) praticamente empatam, e o segundo ainda tem taxa de aprovação um pouco maior, 59.3%.
  • Se o foco é taxa de aprovação: Hermes Agent 60.9%, a $0.328 por aprovação; ZCode com 60.1% e $0.264 é a opção de meio-termo.

Com DeepSeek-V4.1-Flash-1017

  • Se o foco é custo: OpenCode, $0.177, 61.3%.
  • Se o foco é taxa de aprovação: ZCode, 69.0%, a $0.222 por aprovação — só cerca de $0.045 mais caro que o mais barato. Nessa coluna, buscar taxa de aprovação sai barato.

Com Muse Spark Open ou Kimi-K3

  • Muse Spark Open: Oh My Pi é o mais barato ($1.21); Grok Build tem a maior taxa de aprovação (59.7%); Claude Code gasta 9.79M tokens por tentativa e $3.75 por aprovação, a célula mais cara da coluna.
  • Kimi-K3: Oh My Pi é o mais barato ($1.45, 942k tokens por tentativa); mini-SWE-agent tem a maior taxa de aprovação (64.9%); Codex CLI fica em $1.78 / 63.7% e não perde em nenhum dos dois lados.

which-harness-is-best-frontierharness-leaderboard-comparison-pt-pt-image-2


Recomendações de decisão: protocolos de harness e correspondência com os IDs de modelo da APIYI

Os harnesses do ranking e os endpoints da plataforma não se correspondem um a um. Um bom resultado do Codex CLI não significa que o ID de modelo que você tem em mãos expõe Responses; o mesmo vale para o Claude Code — primeiro olhe a coluna Messages. Cada harness consome tokens durante a execução das tarefas, e trocar de shell ou de modelo altera diretamente a fatura. Por isso, antes de testar uma determinada célula, sugiro conferir na página de modelos da APIYI apiyi.com se aquele ID expõe Chat, Responses ou Messages e, em seguida, apontar o base_url do harness para https://api.apiyi.com/v1.

A tabela abaixo mostra os preços padrão da documentação da APIYI em 2026-11-15 (USD / 1M tokens) — são dois conjuntos de números diferentes dos preços de catálogo do ranking acima e não podem ser misturados no cálculo.

ID do modelo Entrada Leitura de cache Saída Chat Responses Messages Grupo
glm-5.3 $1.4 $0.259 $4.396 Suportado Não suportado Suportado ClaudeCode 0.95×、Default、SVIP
glm-5.3-flash $0.15 $0.03 $0.5 Suportado Página do modelo: não suportado Página do modelo: não suportado CodexResponses、Default、SVIP
deepseek-v4.1-flash-1017 $0.3 $0.006 $1.2 Suportado Ausente na tabela geral Suportado ClaudeCode、Default、SVIP
deepseek-v4.1-flash $0.3 $0.006 $1.2 Suportado Ver grupo Suportado Com um CodexResponses adicional
kimi-k3 $3 $0.3 $15 Suportado Não suportado Não suportado Default、SVIP
Muse Spark Open Ainda não disponível — — — — — —

Alguns pontos precisam ser explicados um por um:

  • glm-5.3 pode usar Messages e tem o grupo ClaudeCode 0.95×, o que o torna adequado para uso com shells do tipo Claude Code; esse 0.95× pertence somente ao glm-5.3. Ele não pode usar Responses.
  • glm-5.3-flash tem duas inconsistências entre a tabela geral e a página do modelo, e mantemos as duas versões: o grupo lista CodexResponses, mas a página do modelo diz que Responses e Messages não são suportados; a coluna de tipo na tabela geral diz “texto”, enquanto a página do modelo diz que a entrada inclui texto, imagem e vídeo.
  • deepseek-v4.1-flash-1017 consegue usar Messages, mas a tabela geral não mostra CodexResponses; se você precisa de Responses, olhe a outra entrada, deepseek-v4.1-flash.
  • kimi-k3 só tem Chat Completions; antes de usar Codex CLI ou Claude Code, confirme se o harness consegue falar o protocolo Chat.
  • A versão econômica deepseek-v4-1-flash-economy-261017 custa entrada $0.24, saída $0.96 e leitura de cache $0.006, e expõe apenas chat. Segundo a dinâmica em tempo real da APIYI, ela carrega os mesmos pesos V4.1-Flash-1017 da versão padrão, com geração mais lenta. Vale destacar: o FrontierHarness nunca testou esse ID, então a taxa de aprovação do ranking não pode ser aplicada a ele.
  • Muse Spark Open ainda não está disponível; vamos disponibilizá-lo o mais rápido possível; modelo e preço devem ser consultados na lista de modelos da plataforma.

💡 Sugestão de escolha: primeiro selecione, pelo modelo, os shells candidatos naquela coluna do ranking final, depois filtre pela compatibilidade de protocolo as combinações que não conectam e, por fim, faça um teste piloto em pequena escala com o mesmo lote de tarefas. Usando uma única Key na APIYI apiyi.com para alternar entre IDs como glm-5.3 e kimi-k3, dá para separar e testar as duas variáveis: “trocar de modelo” e “trocar de shell”.

Seu objetivo Qual coluna olhar primeiro Candidatos do ranking final
Ainda não sabe qual modelo, só quer um harness confiável Resumo geral Codex CLI (mais barato por aprovação), ZCode (maior taxa de aprovação)
Modelo já definido, reduzir o custo Custo por aprovação do modelo correspondente Veja a coluna “Mais barato” na tabela detalhada dos cinco modelos
Modelo já definido, buscar taxa de aprovação Taxa de aprovação do modelo correspondente Veja a coluna “Maior” na tabela detalhada dos cinco modelos
Quer comprimir o orçamento total Custo médio por tarefa do modelo Primeiro troque o modelo, depois o harness

Perguntas frequentes (FAQ)

Q1: O que é o FrontierHarness e como ele responde “qual harness é o melhor”?

O FrontierHarness é uma avaliação de harness para agentes de programação, iniciada pela Runta. A v1.1 coloca 21 harnesses para rodar 62 tarefas cada em 5 modelos, 4 vezes por tarefa, e mede taxa de aprovação e custo dentro do mesmo ambiente. O que ele entrega não é um campeão único, mas uma coluna de classificação para cada modelo.

Q2: Afinal, quem é o primeiro: Codex CLI ou ZCode?

Os dois são primeiros, mas com critérios diferentes. Em custo por aprovação, o Codex CLI fica em primeiro com $0.937; em taxa de aprovação, o ZCode fica em primeiro com 61.9%. Depende se você prioriza o orçamento ou a taxa de sucesso.

Q3: Os 66.7% da v1.0 e o ranking de 11 de novembro ainda servem como referência?

Não dá para tratá-los como ranking final. A v1.0 testou apenas o Kimi K3 e 9 harnesses, num total de 360 execuções; 11 de novembro é um snapshot de quando a v1.1 estava na metade do caminho. O ranking ao vivo de 2026-11-15 mostra que já foram concluídas 26,040 execuções, e é esse ranking final que deve servir de referência.

Q4: O que observar ao rodar o GLM-5.3 com o Claude Code?

O ranking final não traz, isoladamente, a célula do Claude Code sobre o GLM-5.3, então não dá para inferir diretamente o resultado dele. No nível de protocolo, `glm-5.3` suporta Messages, e na APIYI apiyi.com existe ainda o grupo ClaudeCode a 0.95×, ou seja, as condições de integração estão dadas.

Q5: Como reproduzir uma determinada célula no meu próprio ambiente?

O FrontierHarness disponibiliza um ponto de entrada de autoteste, com o qual você pode rodar no mesmo ambiente usando sua própria chave do modelo. Do lado da plataforma, o caminho é: primeiro confirmar que o ID do modelo expõe o protocolo de que o harness precisa, depois definir o base_url do harness como `https://api.apiyi.com/v1`. Usuários novos podem usar a cota gratuita de teste para rodar algumas tarefas primeiro.

Q6: Quais são as limitações deste ranking final?

Os valores em dólar no ranking são calculados pelo preço de catálogo multiplicado pelos tokens reportados, o que difere da fatura real da plataforma; além disso, o effort de todos os modelos foi definido como max, e mudar para outro nível pode alterar os resultados. Outro ponto: a diferença entre algumas posições cai dentro do intervalo de confiança de 95%, então não convém interpretar demais posições adjacentes.


Qual harness é o melhor? Principais conclusões

  • Não existe um harness que sirva para tudo: o harness mais barato para cada um dos cinco modelos pertence a quatro harnesses diferentes.
  • Há dois líderes ao mesmo tempo: o ZCode tem a maior taxa de aprovação, 61.9%, e o Codex CLI tem o menor custo por aprovação, $0.937.
  • O modelo influencia mais o custo do que o harness: a diferença de custo médio por tarefa entre modelos é de cerca de 6.1 vezes; entre harnesses, é menos de 2 vezes.
  • O harness da própria empresa não leva vantagem: em custo por aprovação, nem as quatro variantes da DeepSeek nem o KimiCode foram os mais baratos nos próprios modelos.
  • O melhor resultado da tabela: ZCode + DeepSeek-V4.1-Flash-1017, 69.0%, 171/248.
  • Antes de integrar, verifique o protocolo: na página de modelos da APIYI, confirme as três colunas — Chat, Responses e Messages — antes de escolher o harness.

Resumo

A resposta do ranking final do FrontierHarness v1.1 para “qual harness é o melhor?” é: depende do modelo.

  1. Dois primeiros lugares no ranking geral: em taxa de aprovação, ZCode; em custo por aprovação, Codex CLI.
  2. Ao trocar de modelo, é preciso reavaliar o harness: os harnesses mais baratos para as cinco colunas são, respectivamente, Codex CLI, Pi, OpenCode, Oh My Pi e Oh My Pi.
  3. Para o orçamento, comece pelo modelo: a diferença de custo médio por tarefa causada pelo modelo é maior do que a causada pela troca de harness.

Na hora de escolher, primeiro localize no ranking final a coluna do seu modelo e depois confira se o protocolo é compatível. Recomendamos usar a APIYI (apiyi.com) para trocar o ID do modelo por uma interface unificada e fazer testes em pequena escala com as combinações candidatas.


📚 Referências

  1. Leaderboard ao vivo do FrontierHarness: leaderboard final da v1.1 e dados discriminados por modelo
  2. Link: frontierharness.org/live/
  3. Descrição: em 2026-11-15 mostra scored 26,040, é a fonte de todos os números de leaderboard deste artigo

  4. Entrada de autoavaliação do FrontierHarness: execute no mesmo ambiente com sua própria chave

  5. Link: frontierharness.org/evaluate-your-own-harness/
  6. Descrição: ideal para reproduzir uma determinada combinação harness × model

  7. Post de lançamento de Guanlan Dai: definição do problema e escala da v1.1

  8. Link: x.com/guanlan/status/2120192585235046712
  9. Descrição: inclui informações de contexto como “só conta como final após 248 vezes”, patrocinador da inferência, etc.

  10. Tabela geral de modelos da APIYI: preço, endpoint e grupo de cada model ID

  11. Link: docs.apiyi.com/models
  12. Descrição: o horário dos preços deste artigo é 2026-11-15 09:36 (UTC+8)

Autor: Equipe técnica da APIYI
Intercâmbio técnico: bem-vindo a nos contatar pela página inicial do site oficial da APIYI para discutir a seleção de combinações de harness e modelo

Artigos relacionados

Similar Posts