METR: el horizonte de tareas de IA se duplica cada 110 días

METR: el horizonte de tareas de IA se duplica cada 110 días

METR calcula que el horizonte de tareas de IA se duplica cada 110 días, pero advierte límites en investigación abierta.

Por Humberto Toledo el 21 de noviembre del 2026 a las 12:05 am PST

✨︎ Resumen (TL;DR):

  • METR combinó 222 tareas anteriores con 36 nuevas de TH2.
  • La tendencia equivale a una duplicación cada 3.61 meses, con un intervalo de confianza del 95 % de 2.08 a 4.94 meses.
  • En las pruebas verificables, los modelos alcanzaron horizontes de hasta 27 horas, pero ninguna evaluación creada por agentes entró en la batería.

En su actualización del 20 de noviembre de 2026, METR calculó que el horizonte de tareas de los modelos de IA más avanzados de la muestra se duplica aproximadamente cada 110 días. Al ampliar sus pruebas a investigación difícil de calificar, la organización encontró un límite: ninguna tarea de evaluación propuesta por los propios agentes resultó lo bastante útil para entrar en su batería.

Exinvestigadores de OpenAI cuestionan sus despidos
Te podría interesar:
Exinvestigadores de OpenAI cuestionan sus despidos

Qué mide la duplicación cada 110 días

El horizonte temporal es una medida que estima cuánto tardaría una persona experta en resolver una tarea en la que el modelo tiene una probabilidad prevista de éxito de 50 %. No indica cuánto tiempo trabaja el agente sin detenerse ni demuestra que pueda completar cualquier proyecto empresarial de esa duración; describe la dificultad de las tareas incluidas en la prueba.

METR, una organización sin fines de lucro que evalúa modelos avanzados, combinó una batería anterior de 222 tareas con TH2, una colección nueva de 36 tareas repartidas en 12 familias. Ocho familias tienen objetivos verificables mediante una puntuación o una prueba automática. Las cuatro restantes incluyen investigación abierta, decisiones de evaluación y juicios que requieren valoración humana o una rúbrica.

Para asignar duración humana a las nuevas pruebas, METR definió umbrales en 34 de las 36 tareas. Solo tres se apoyaron en referencias humanas completadas. Para las otras 31, usó estimaciones de investigadores informadas por registros de trabajo y especialistas. Las pruebas de sensibilidad conservaron tendencias similares al variar esas estimaciones, aunque la conversión a horas depende de una calibración menos directa que la del gráfico original.

La tendencia conjunta equivale a una duplicación cada 3.61 meses, aproximadamente 110 días. El intervalo de confianza del 95 % va de 2.08 a 4.94 meses.

Ese crecimiento exponencial no demuestra que el ritmo del progreso también se esté acelerando. METR creó un índice de capacidad para los modelos públicos examinados en conjunto y no encontró una aceleración ni una desaceleración claras. Los análisis por desarrollador cambian según las decisiones metodológicas.

Los agentes destacan cuando el resultado se puede comprobar

En el subconjunto verificable de TH2, METR estima horizontes de hasta 27 horas para modelos públicos de frontera. En las tres tareas nuevas con referencias humanas completadas, los mejores agentes superaron a las personas contratadas. METR advierte que no sabe hasta qué punto esos participantes representan la experiencia de quienes investigan en los laboratorios de IA.

La comparación con una base humana más amplia fue menos tajante en 15 concursos de optimización. En el concurso mediano, los modelos más fuertes quedaron entre los percentiles 96 y 98 de los participantes humanos, pero alrededor de cuatro personas los superaron. Las condiciones diferían: los agentes tuvieron 48 horas en una máquina de 28 núcleos; los participantes contaron con cerca de tres meses y su propio equipo.

Diseñar y juzgar una buena prueba sigue siendo difícil

METR pidió a los agentes crear una tarea que revelara información útil sobre las capacidades de los modelos. Algunos resultados recientes se acercaron al umbral de utilidad, pero ninguno entró en la batería del informe. Incluso cuando recibieron instrucciones para explorar decisiones cuyo acierto no se conoce de inmediato, los sistemas tendieron a proponer problemas de optimización con puntuaciones automáticas.

La evaluación también mostró un problema concreto: al calificar tareas producidas por modelos de fuerza similar o superior, los jueces automáticos fueron más generosos que el evaluador humano de METR. La organización plantea que quizá les cuesta reconocer una prueba realmente informativa, aunque admite otras explicaciones. También señala que los agentes no siempre agotaron los recursos disponibles.

El investigador Sayash Kapoor señaló a MIT Technology Review que elegir preguntas e hipótesis prometedoras podría frenar la automatización de la investigación. Najoung Kim, de la Universidad de Boston, advirtió al medio que todavía es difícil extrapolar el avance observado en las pocas tareas abiertas examinadas. Sus comentarios aportan cautela, pero no amplían la muestra de METR.

OpenAI mide otro tipo de tareas

El 18 de noviembre, OpenAI informó que, en sus tareas internas de investigación estimadas en dos a cuatro horas de trabajo humano, la tasa de éxito autónomo pasó de 23 % en marzo a 46 % en octubre. En las tareas de cuatro a ocho horas, subió de 13 % a 35 %.

Son mediciones de otra compañía y otro conjunto de tareas, así que no se pueden trasladar directamente a los horizontes de METR. La comparación muestra por qué la duración del encargo y la forma de comprobar el resultado cambian la lectura de una cifra de capacidad.

METR observa una mejora rápida en las tareas que pudo medir y documenta fallas al diseñar y juzgar pruebas. Para la investigación abierta, todavía cuenta con pocos ejemplos para establecer una tendencia igual de firme.

Fuentes: 1, 2, 3, 4

+ Temas Relacionados

Más de AI

Feed