Nota del autor: este artículo se centra exclusivamente en la clasificación final de FrontierHarness v1.1 una vez terminadas sus 26.040 ejecuciones. Compara 21 harness desglosados por modelo y los contrasta con los protocolos y precios que APIYI ofrece realmente para los ID de modelo relevantes.
Si ya usas agentes de programación como Codex CLI, Claude Code, OpenCode o Pi, y cambias con frecuencia el modelo subyacente, seguramente te has topado con que «¿qué harness es mejor?» no tiene una respuesta única. El 10 de noviembre de 2026, Guanlan Dai, de Runta, lanzó FrontierHarness v1.1 con una pregunta directa: cuando cambias de modelo, ¿deberías cambiar también de harness? Al 15 de noviembre de 2026, la clasificación en vivo indicaba running 0 y scored 26.040, y las 21 harness × 5 modelos × 62 tareas × 4 intentos ya se habían completado.
Esta no es una interpretación del tipo «un único harness arrasa en todo». En la clasificación final, quien lidera en tasa de aprobación y quien resulta más barato por aprobación no son el mismo harness, y el harness más económico para cada uno de los cinco modelos tampoco es el mismo. Este artículo desglosa esas conclusiones por modelo y las explica celda por celda.
Valor principal: después de leerlo, tendrás una comparativa de la clasificación final de FrontierHarness separada por modelo, sabrás qué columna mirar cuando cambies de modelo, qué cifras antiguas ya no sirven y qué protocolo conviene revisar antes de integrar.

Criterios del ranking final de FrontierHarness: antes de decidir qué harness es mejor, revisa las reglas
Todas las ejecuciones de FrontierHarness se realizan dentro de Runta runtime y usan el mismo conjunto de límites de recursos. Cada combinación harness × modelo debe completar 248 ejecuciones para que sus resultados cuenten como finales, por eso las posiciones durante la transmisión en vivo cambian a medida que llegan nuevos resultados. La siguiente tabla resume los criterios de puntuación del ranking final v1.1; todas las comparaciones posteriores se basan en ella.
| Criterio | Configuración del ranking final v1.1 | Qué implica al comparar |
|---|---|---|
| Conjunto de datos | [email protected], 62 tareas |
Todos los harnesses resuelven el mismo conjunto de tareas |
| Escala | 21 harnesses, 4 intentos por tarea, 248 por combinación, 5.208 por modelo, 26.040 en total | Cada celda tiene el mismo denominador, así que se puede comparar horizontalmente |
| Entorno de ejecución | 1–4 vCPU, 2–8 GB de RAM, 32 GB de disco, timeout por tarea de 15 minutos a 8 horas | Elimina diferencias entre máquinas |
| Configuración de inferencia | Proveedor de inferencia Baseten; el effort de los cinco modelos es max | Las variables del lado del modelo están unificadas |
| Tasa de aprobación | Aprobaciones ÷ intentos que cuentan para la puntuación; los timeouts y el reward hacking cuentan como fallos; los errores de infraestructura no cuentan | Copiar las respuestas no suma puntos |
| Coste | Precio de catálogo × tokens reportados | Es el algoritmo del ranking, no la factura de ninguna plataforma |
| Confianza | Bootstrap del 95 % por tarea | Las posiciones con diferencias muy pequeñas deben interpretarse con cautela |
Hay varias cifras que se comparten con frecuencia, pero ninguna pertenece al ranking final v1.1. En v1.0 se probaron 9 harnesses, 12 configuraciones y 360 ejecuciones con un solo modelo, Kimi K3; el 66,7 % de tasa de aprobación de Codex y el coste mediano por tarea de $3,47 son datos de v1.0. En la instantánea intermedia del 2026-11-11, el coste por aprobación estaba entre $0,57 y $1,32, y la tasa de aprobación entre 56,2 % y 77,6 %; eso también refleja solo el estado a mitad de la evaluación. Ese mismo día alguien escribió «para GLM-5.3 el mejor harness es KimiCode y para Kimi-K3 el mejor es Codex»; al reordenar según el coste por aprobación del ranking final, esas afirmaciones dejan de sostenerse.
¿Cuál es el mejor harness? Comparativa del ranking final global de FrontierHarness
La siguiente tabla reúne los resultados de 21 harnesses en cinco modelos, ordenados de menor a mayor coste por aprobación. Todas las cifras en dólares provienen del ranking final de FrontierHarness y se calculan multiplicando el precio de catálogo por los tokens reportados.
| Puesto | harness | Coste por aprobación | Coste medio por tarea | Tasa de aprobación |
|---|---|---|---|---|
| 1 | Codex CLI | $0.937 | $0.573 | 61.1% |
| 2 | Pi | $0.976 | $0.563 | 57.7% |
| 3 | Oh My Pi | $0.983 | $0.564 | 57.3% |
| 4 | ZCode | $1.06 | $0.659 | 61.9% |
| 5 | KimiCode | $1.09 | $0.653 | 60.2% |
| 6 | OpenCode | $1.12 | $0.646 | 57.4% |
| 7 | Maka | $1.13 | $0.654 | 57.7% |
| 8 | MiniMax Code | $1.14 | $0.647 | 56.8% |
| 9 | DeepSeek Harness: Minimal | $1.15 | $0.661 | 57.4% |
| 10 | Hermes Agent | $1.16 | $0.692 | 59.9% |
| 11 | Cline CLI | $1.19 | $0.689 | 57.7% |
| 12 | Grok Build | $1.20 | $0.723 | 60.0% |
| 13 | Alma | $1.22 | $0.731 | 59.7% |
| 14 | DeepSeek Harness: Standard | $1.27 | $0.697 | 55.0% |
| 15 | DeepSeek Harness: Creator | $1.27 | $0.713 | 56.1% |
| 16 | mini-SWE-agent | $1.29 | $0.757 | 58.6% |
| 17 | DeepSeek Harness: Code | $1.32 | $0.732 | 55.2% |
| 18 | Exo | $1.36 | $0.691 | 50.6% |
| 19 | GitHub Copilot CLI | $1.38 | $0.787 | 56.9% |
| 20 | Claude Code | $1.55 | $0.915 | 58.9% |
| 21 | Antigravity CLI | $1.63 | $0.897 | 55.0% |
Los dos números uno del ranking final global
ZCode lidera la tasa de aprobación global (61.9%) y Codex CLI es el más barato por aprobación ($0.937). Hay que leer ambas afirmaciones al mismo tiempo. La tasa de aprobación de Codex CLI es del 61.1%, solo 0.8 puntos porcentuales por debajo de ZCode, pero su coste por aprobación es unos $0.12 menor; ZCode, a cambio, es la opción más sólida cuando lo que primas es aprobar más tareas. El más caro, Antigravity CLI, cuesta $1.63 por aprobación, aproximadamente 1.74 veces lo de Codex CLI. La tasa de aprobación global va del 50.6% de Exo al 61.9% de ZCode, una diferencia de 11.3 puntos porcentuales.
Hay dos puntos que se prestan a confusión. Primero, los cuatro DeepSeek Harness son cuatro configuraciones (Minimal, Standard, Creator y Code) de la misma versión 0.2.1-rc.3, no cuatro productos independientes. Segundo, Alma ocupa el puesto 13 por coste por aprobación y el puesto 6 por tasa de aprobación, por detrás de ZCode, Codex CLI, KimiCode, Grok Build y Hermes Agent. La afirmación de que Alma ocupaba el puesto 3 con 72.7% en la instantánea del 11 de noviembre corresponde a datos intermedios; lo válido es el 59.7% del ranking final.
Qué harness es mejor al cambiar de modelo: FrontierHarness con cinco modelos en columnas
Un resumen global solo te dice el promedio; lo que realmente decide la factura es la columna del modelo que tienes en la mano. En la tabla siguiente, «más barato» siempre se refiere al harness con el menor costo por aprobación en la página de ese modelo, y el denominador de las aprobaciones es 248 en todos los casos.
| Modelo | Costo medio por tarea (promediado entre harnesses) | Más barato por aprobación | Mayor tasa de aprobación | Más caro del mismo modelo |
|---|---|---|---|---|
| GLM-5.3 | $0.968 | Codex CLI $0.803, 57.7% | ZCode 58.9%, $1.48 | Exo $2.72, 50.0% |
| GLM-5.3-Flash | $0.193 | Pi $0.223, 58.1% | Hermes Agent 60.9%, $0.328 | DeepSeek Harness: Minimal $0.484, 55.2% |
| DeepSeek-V4.1-Flash-1017 | $0.185 | OpenCode $0.177, 61.3% | ZCode 69.0%, $0.222 | Cline CLI $0.860, 63.3% |
| Muse Spark Open | $1.01 | Oh My Pi $1.21, 58.9% | Grok Build 59.7%, $1.77 | Claude Code $3.75, 52.8% |
| Kimi-K3 | $1.12 | Oh My Pi $1.45, 57.7% | mini-SWE-agent 64.9%, $2.02 | Antigravity CLI $2.73, 56.9% |

Conclusión 1: El harness más barato de los cinco modelos no es el mismo
Los harness más baratos de las cinco columnas son Codex CLI, Pi, OpenCode, Oh My Pi y Oh My Pi: cuatro harness diferentes. Codex CLI, primero en la clasificación general, solo fue el más barato en la columna de GLM-5.3; en GLM-5.3-Flash, con $0.226, salió apenas un poco más caro que Pi. Por eso, al cambiar de modelo hay que volver a revisar el harness; no conviene reutilizar sin más la combinación anterior.
Conclusión 2: La diferencia de coste al cambiar de modelo es mayor que al cambiar de harness
Si se mira el coste medio por tarea según el modelo, va de $0.185 con DeepSeek-V4.1-Flash-1017 a $1.12 con Kimi-K3, aproximadamente 6.1 veces más. Si se mira el coste medio por tarea por harness en la clasificación general, el más bajo es Pi con $0.563 y el más alto Claude Code con $0.915, menos del doble. Es decir, en la clasificación final de FrontierHarness, elegir primero el modelo influye más en el coste por tarea que elegir primero el harness.
Conclusión 3: el harness propio no logró ser el más barato en su propio modelo
En la columna de DeepSeek-V4.1-Flash-1017, si miramos el costo por aprobación, las cuatro variantes de DeepSeek Harness son Code $0.243 / 64.1%, Minimal $0.256 / 63.7%, Creator $0.273 / 64.9% y Standard $0.292 / 62.1%. No consigue ni el menor costo (OpenCode, $0.177) ni la tasa de aprobación más alta (ZCode, 69.0%, 171/248, que además es la celda con la tasa de aprobación más alta de todas las combinaciones). Claude Code en esta celda marca 68.1%, mientras que Codex CLI marca $0.237 / 67.3%. El Cline CLI, el más caro de la misma columna, consume 6.77M tokens por intento y cuesta $0.860 por aprobación, aproximadamente 4.9 veces lo de OpenCode; este múltiplo solo aplica a este par.
Con Kimi-K3 pasa lo mismo: en costo por aprobación, el harness propio KimiCode es $1.84 / 60.1%, no mejora el $1.45 de Oh My Pi, y su tasa de aprobación también queda por debajo del 64.9% de mini-SWE-agent y del 64.1% de Alma y ZCode. La celda con la tasa de aprobación más baja de toda la tabla también aparece aquí: Exo + Kimi-K3, 43.5%, 108/248.
Recomendaciones por escenario: qué harness elegir según el modelo
Para aterrizar las conclusiones por columna en una decisión práctica, podemos desglosarlas según «qué modelo usas + qué te importa más: el costo o la tasa de aprobación».
Si usas GLM-5.3
- Si te importa el costo por aprobación: Codex CLI, $0.803, 57.7%, unos 1.86M tokens por intento.
- Si te importa la tasa de aprobación: ZCode, 58.9%, pero cuesta $1.48 por aprobación, casi el doble que Codex CLI.
- Ojo: KimiCode en esta columna es $1.55 / 58.1%; lo que se afirmaba antes de forma provisional ya no se sostiene.
Si usas GLM-5.3-Flash
- Si te importa el costo: Pi ($0.223) y Codex CLI ($0.226) están prácticamente empatados; este último además tiene una tasa de aprobación ligeramente superior, 59.3%.
- Si te importa la tasa de aprobación: Hermes Agent 60.9%, $0.328 por aprobación; ZCode 60.1% y $0.264 es la opción intermedia.
Si usas DeepSeek-V4.1-Flash-1017
- Si te importa el costo: OpenCode, $0.177, 61.3%.
- Si te importa la tasa de aprobación: ZCode, 69.0%, $0.222 por aprobación, solo unos $0.045 más que el más barato. En esta columna, apostar por la tasa de aprobación sale muy barato.
Si usas Muse Spark Open o Kimi-K3
- Muse Spark Open: Oh My Pi es el más barato ($1.21); Grok Build tiene la tasa de aprobación más alta (59.7%); Claude Code consume 9.79M tokens por intento y cuesta $3.75 por aprobación, la celda más cara de esta columna.
- Kimi-K3: Oh My Pi es el más barato ($1.45, 942k tokens por intento); mini-SWE-agent tiene la tasa de aprobación más alta (64.9%); Codex CLI $1.78 / 63.7%, no pierde en ninguno de los dos frentes.

Recomendaciones de decisión: correspondencia entre protocolos de harness e IDs de modelo de APIYI
Los harness del ranking y los endpoints de la plataforma no tienen una correspondencia uno a uno. Que Codex CLI tenga buenos resultados no significa que el ID de modelo que tienes en mano tenga habilitado Responses; lo mismo ocurre con Claude Code: primero hay que mirar la columna Messages. Cada harness consume tokens al ejecutar tareas, y cambiar de harness o de modelo altera directamente la factura. Por eso, antes de probar una celda, conviene verificar en la página de modelos de APIYI apiyi.com si ese ID tiene habilitado Chat, Responses o Messages, y luego configurar el base_url del harness para que apunte a https://api.apiyi.com/v1.
La siguiente tabla recoge los precios predeterminados de la documentación de APIYI a fecha de 2026-11-15 (USD / 1M tokens); son cifras distintas de los precios de catálogo del ranking anterior y no deben mezclarse en los cálculos.
| ID de modelo | Entrada | Lectura de caché | Salida | Chat | Responses | Messages | Grupo |
|---|---|---|---|---|---|---|---|
glm-5.3 |
$1.4 | $0.259 | $4.396 | Sí | No | Sí | ClaudeCode 0.95×, Default, SVIP |
glm-5.3-flash |
$0.15 | $0.03 | $0.5 | Sí | Página del modelo: No | Página del modelo: No | CodexResponses, Default, SVIP |
deepseek-v4.1-flash-1017 |
$0.3 | $0.006 | $1.2 | Sí | No aparece en la tabla general | Sí | ClaudeCode, Default, SVIP |
deepseek-v4.1-flash |
$0.3 | $0.006 | $1.2 | Sí | Ver grupo | Sí | Además, CodexResponses |
kimi-k3 |
$3 | $0.3 | $15 | Sí | No | No | Default, SVIP |
| Muse Spark Open | Aún no disponible | — | — | — | — | — | — |
Varios puntos que conviene explicar uno por uno:
glm-5.3puede usar Messages y cuenta con un grupo ClaudeCode 0.95×, lo que lo hace adecuado para usarlo con harness como Claude Code; ese 0.95× corresponde solo aglm-5.3. No puede usar Responses.- Hay dos inconsistencias entre la tabla general y la página del modelo de
glm-5.3-flash, así que conservamos ambas versiones: el grupo incluye CodexResponses, pero la página del modelo indica que no admite Responses ni Messages; la columna de tipo de la tabla general dice «texto», mientras que la página del modelo dice que la entrada incluye texto, imagen y video. deepseek-v4.1-flash-1017puede usar Messages, pero en la tabla general no se ve CodexResponses; si necesitas Responses, tienes que fijarte en el otro ID,deepseek-v4.1-flash.kimi-k3solo tiene Chat Completions; antes de usar Codex CLI o Claude Code hay que confirmar si el harness puede conectarse al protocolo Chat.- La versión económica
deepseek-v4-1-flash-economy-261017tiene un precio de entrada de $0.24, salida de $0.96 y lectura de caché de $0.006, y solo habilita chat. Según los datos en tiempo real de APIYI, carga los mismos pesos de V4.1-Flash-1017 que la versión estándar, pero genera más lentamente. Cabe subrayar: FrontierHarness no ha probado este ID, así que la tasa de aprobación del ranking no puede aplicarse a este. - Muse Spark Open aún no está disponible; lo publicaremos lo antes posible. El modelo y el precio se rigen por la lista de modelos de la plataforma.
💡 Sugerencia de selección: primero, elige por modelo los harness candidatos de la columna correspondiente en el ranking final; luego descarta según el protocolo las combinaciones que no sean compatibles; y, por último, haz una prueba a pequeña escala con el mismo lote de tareas. Con APIYI apiyi.com y una sola clave, puedes alternar entre IDs como
glm-5.3ykimi-k3, lo que te permite probar por separado las dos variables: «cambiar de modelo» y «cambiar de harness».
| Tu objetivo | Mira primero esta columna | Candidatos del ranking final |
|---|---|---|
| No tienes claro el modelo y solo quieres un harness seguro | Resumen global | Codex CLI (el más barato por aprobación), ZCode (la tasa de aprobación más alta) |
| Ya definiste el modelo y quieres recortar el gasto | Costo por aprobación del modelo correspondiente | Consulta la columna «Más barato» en la tabla desglosada de los cinco modelos |
| Ya definiste el modelo y buscas la tasa de aprobación | Tasa de aprobación del modelo correspondiente | Consulta la columna «Más alta» en la tabla desglosada de los cinco modelos |
| Quieres comprimir el presupuesto total | Costo medio por tarea del modelo | Primero cambia de modelo, después de harness |
Preguntas frecuentes (FAQ)
Q1: ¿Qué es FrontierHarness y cómo responde a «qué harness es el mejor»?
FrontierHarness es una evaluación de harness para agentes de programación impulsada por Runta. En v1.1, 21 harness ejecutan cada uno 62 tareas sobre 5 modelos, 4 veces por tarea, y se registran la tasa de aprobación y el costo en un mismo entorno. No arroja un campeón único, sino una columna de clasificación propia para cada modelo.
Q2: Al final, ¿Codex CLI o ZCode es el primero?
Los dos son primeros, pero con criterios distintos. Por costo por aprobación, Codex CLI ocupa el primer lugar con $0.937; por tasa de aprobación, ZCode lidera con 61.9%. Depende de si priorizas el presupuesto o la tasa de éxito.
Q3: ¿Todavía sirven como referencia el 66.7% de v1.0 y el ranking del 11 de noviembre?
No como ranking final. v1.0 solo probó Kimi K3 y 9 harness, con 360 ejecuciones en total; el del 11 de noviembre era una instantánea de v1.1 a mitad de camino. El ranking en vivo del 2026-11-15 muestra que ya se completaron 26,040 ejecuciones, así que conviene tomar como referencia el ranking final de ese momento.
Q4: ¿Qué hay que tener en cuenta al usar Claude Code con GLM-5.3?
El ranking final no desglosa una celda específica para Claude Code sobre GLM-5.3, así que no se puede inferir directamente su resultado. A nivel de protocolo, `glm-5.3` es compatible con Messages, y en APIYI apiyi.com además existe el grupo ClaudeCode con 0.95×, de modo que las condiciones de integración están dadas.
Q5: ¿Cómo reproducir una celda concreta en tu propio entorno?
FrontierHarness ofrece un acceso de autoevaluación para ejecutar en el mismo entorno con tu propia clave de modelo. Del lado de la plataforma, el procedimiento es: primero confirma que el ID del modelo expone el protocolo que necesita el harness, luego configura el base_url del harness como `https://api.apiyi.com/v1`; los usuarios nuevos pueden usar el crédito de prueba gratuito para ejecutar algunas tareas primero.
Q6: ¿Cuáles son las limitaciones de este ranking final?
Los dólares del ranking se calculan multiplicando el precio de catálogo por los tokens reportados, por lo que no coinciden con la factura real de la plataforma; además, el effort de todos los modelos está fijado en max, y cambiarlo a otro nivel podría alterar los resultados. Por otra parte, la diferencia entre algunas posiciones cae dentro del intervalo de confianza del 95%, así que las posiciones contiguas no deberían interpretarse en exceso.
¿Qué harness es mejor? Puntos clave
- No hay un harness que sirva para todo: el harness más barato para cada uno de los cinco modelos está repartido entre cuatro harness distintos.
- Dos primeros puestos a la vez: ZCode tiene la tasa de aprobación más alta, 61.9%, y Codex CLI el coste por aprobación más bajo, $0.937.
- El modelo pesa más que el harness en el gasto: la diferencia de coste medio por tarea entre modelos es de unas 6.1 veces; entre harnesses, menos de 2 veces.
- Usar el harness propio no da ventaja: si se mira el coste por aprobación, ni las cuatro variantes de DeepSeek ni KimiCode consiguen el coste más bajo con sus propios modelos.
- La celda más alta: ZCode + DeepSeek-V4.1-Flash-1017, 69.0%, 171/248.
- Antes de integrar, revisa el protocolo: en la página de modelos de APIYI, confirma las tres columnas Chat, Responses y Messages antes de elegir un harness.
Resumen
La respuesta de la clasificación final de FrontierHarness v1.1 a «¿qué harness es mejor?» es: depende del modelo.
- Dos primeros puestos absolutos: para la tasa de aprobación, ZCode; para el coste por aprobación, Codex CLI.
- Si cambias de modelo, vuelve a mirar el harness: los harness más baratos en las cinco columnas son Codex CLI, Pi, OpenCode, Oh My Pi y Oh My Pi.
- Para el presupuesto, mira primero el modelo: la diferencia de coste medio por tarea que introduce el modelo es mayor que la que introduce cambiar de harness.
A la hora de elegir, busca primero en la clasificación final la columna de tu modelo y luego comprueba si el protocolo es compatible. Recomendamos usar APIYI apiyi.com con su interfaz unificada para cambiar el ID de modelo y hacer pruebas a pequeña escala con las combinaciones candidatas.
📚 Referencias
- Ranking en vivo de FrontierHarness: tabla final de v1.1 y datos desglosados por modelo
- Enlace:
frontierharness.org/live/ -
Descripción: el 2026-11-15 mostraba una puntuación de 26,040, que es el origen de todas las cifras de ranking en este artículo
-
Acceso de autoevaluación de FrontierHarness: ejecutar en el mismo entorno con tu propia clave
- Enlace:
frontierharness.org/evaluate-your-own-harness/ -
Descripción: ideal para reproducir una combinación concreta de harness × modelo
-
Publicación de Guanlan Dai: descripción del planteamiento del problema y la escala de v1.1
- Enlace:
x.com/guanlan/status/2120192585235046712 -
Descripción: incluye información de contexto como que se necesitan 248 ejecuciones para que cuente como final, además de los patrocinadores de inferencia
-
Tabla general de modelos de APIYI: precios, endpoints y grupos de cada ID de modelo
- Enlace:
docs.apiyi.com/models - Descripción: la fecha y hora de los datos de precios de este artículo es 2026-11-15 09:36 (UTC+8)
Autor: Equipo técnico de APIYI
Contacto técnico: te invitamos a contactarnos desde la página principal del sitio oficial de APIYI para conversar sobre la selección de combinaciones de harness y modelo
