✨︎ Resumen (TL;DR):
- Runta probó 22 configuraciones de agentes con cinco modelos abiertos y 27,280 ejecuciones.
- Con DeepSeek V4.1 Flash 1017, Cline CLI costó por tarea cinco veces lo que OpenCode v1 y aprobó apenas dos puntos porcentuales más.
- El 64.5% del costo estimado correspondió a ejecuciones que fallaron o agotaron el tiempo.
Runta y Baseten midieron cuánto cambia el costo de una tarea de programación cuando distintos agentes usan el mismo modelo. En FrontierHarness Eval v1.1, el costo por tarea de Cline CLI fue cinco veces el de OpenCode v1 con DeepSeek V4.1 Flash 1017, aunque la tasa de aprobación de Cline fue apenas dos puntos porcentuales mayor. Runta publicó los resultados el 17 de noviembre.
El agente cambia el costo con el modelo fijo
Harness es el software que organiza las instrucciones, las herramientas y la secuencia de pasos de cada intento. Runta evaluó 22 configuraciones de agentes con cinco modelos de pesos abiertos. Cada una de las 110 combinaciones usó el mismo conjunto de 62 tareas de terminal, con cuatro intentos por tarea.
En total, la prueba sumó 27,280 ejecuciones y consumió cerca de 83,000 millones de tokens. Runta realizó las pruebas en su propia infraestructura y Baseten sirvió los modelos. Para estimar el costo de inferencia, usó las tarifas de lista de Baseten y los tokens reportados por el proveedor.
Al comparar las 110 combinaciones en una escala logarítmica, Runta atribuyó al modelo el 92.8% de la variación del costo por tarea. Aun dentro de un mismo modelo, la configuración más cara costó entre 1.8 y 5 veces lo que la más barata.
El orden entre agentes también dependió del modelo. Codex CLI ocupó el primer lugar por costo promedio por tarea con GLM-5.3, pero bajó al puesto 16 con Kimi-K3.
Runta calculó intervalos de confianza de aproximadamente ±10 puntos porcentuales para la tasa de aprobación de cada combinación. Frente a ese margen, la ventaja de dos puntos de Cline CLI sobre OpenCode v1, por sí sola, ofrece poca evidencia de una mejora de rendimiento.
El costo por tarea aprobada cambia el ranking
En el promedio de los cinco modelos, OpenCode v2 fue el más barato por tarea: 0.561 dólares, con 57.3% de aprobación. Codex CLI costó 0.573 dólares por tarea y aprobó el 61.1% de los intentos.
Al dividir el costo medio entre la proporción de intentos aprobados, el orden cambió. Codex CLI quedó en 0.937 dólares por tarea aprobada y OpenCode v2, en 0.978 dólares. Esta medida incorpora el gasto de las ejecuciones que terminaron sin un resultado válido.
En toda la prueba, el 64.5% del costo estimado de inferencia correspondió a ejecuciones que no aprobaron: 52.7% se atribuyó a fallos y 11.8% a intentos que agotaron el tiempo.
Entre las cinco configuraciones que Runta destacó por su relación entre costo y aprobación, entre 68% y 82% de los intentos fallidos sí entregaron una respuesta final. El verificador determinó que esas respuestas no cumplían los criterios de la tarea.
Los pasos fueron la única correlación significativa
De los cuatro factores analizados por Runta, solo el número de pasos por tarea aprobada mostró una correlación estadísticamente significativa con el costo por aprobación: 0.51. El tamaño de la solicitud inicial, la cantidad de herramientas disponibles al empezar y la proporción de tokens recuperados de caché no mostraron esa relación en el análisis conjunto.
Los agentes operaron con su configuración habitual y el máximo esfuerzo de razonamiento. La evaluación no midió cuánto bajaría el gasto al reducir los pasos; para responderlo, habría que probar ese cambio por separado.
Las cifras se limitan a tareas de terminal, cinco modelos de pesos abiertos y un solo proveedor. Si un equipo cambia de modelo o proveedor, Runta propone volver a medir ambas cifras con tareas propias y un criterio de aprobación común: costo por tarea y costo por tarea aprobada.