✨︎ Resumen (TL;DR):
- Anthropic cambió a mitad del proyecto el alcance de una evaluación independiente de METR y dejó fuera la comprobación de cómo repartía su cómputo entre capacidades y seguridad.
- METR calculó una aceleración de 1.97 veces en un análisis separado y consideró probable que en octubre el ritmo de mejora en tareas bien definidas se acercara al doble.
- Anthropic reservó gran parte de la evidencia que METR consideraba más informativa para sus conclusiones sobre riesgos, lo que limita la revisión pública.
Anthropic canceló a mitad del proyecto la parte de una evaluación independiente de METR que debía verificar cómo repartía su capacidad de cómputo entre el desarrollo de capacidades de IA y la seguridad. El cambio ocurrió antes de que METR obtuviera conclusiones sustanciales sobre ese reparto y dejó fuera del informe público evidencia que la organización consideraba clave para evaluar los riesgos.
La asignación de cómputo es una distribución de recursos informáticos que determina cuánto se destina a desarrollar capacidades de IA y cuánto a seguridad. El acuerdo original de METR incluía verificar esa división, pero Anthropic cambió el alcance para concentrar el trabajo en la aceleración de la investigación y el desarrollo de IA.
METR documentó ese cambio en el informe que publicó el 5 de noviembre. Como la cancelación ocurrió antes de que el equipo llegara a conclusiones sustanciales sobre el uso de cómputo de Anthropic, el informe no permite determinar qué proporción de esos recursos se destinó a cada propósito.
Anthropic explicó que quería concentrar el proyecto en la evaluación de riesgos por el momento y que volvería a considerar más adelante una verificación de la asignación de cómputo. Esa parte quedó fuera del alcance final de la revisión.
Qué sí pudo revisar METR
El acceso concedido sí permitió que METR evaluara otras preguntas. Del 12 de agosto al 29 de octubre, el equipo revisó métricas internas, resultados de pruebas y entrevistas con personal para estudiar el ritmo de mejora de los modelos y la posible contribución de la IA a ese avance.
Este proyecto es distinto del equipo de evaluadores con acceso comparable al de empleados que Anthropic anunció el 15 de octubre. En la revisión sobre aceleración, METR no tuvo acceso directo, sin intermediarios, a todos los datos y sistemas de la empresa.
Con los datos que sí pudo revisar, METR consideró probable que, en octubre, las capacidades en tareas bien definidas avanzaran a un ritmo de alrededor del doble del observado entre marzo de 2024 y octubre de 2025. La estimación tiene incertidumbre y no implica que cada modelo fuera el doble de capaz.
La evidencia que no llegó al público
METR entregó a Anthropic un informe completo de aproximadamente 100 páginas el 22 de octubre. La compañía compartió instrucciones sobre los recortes el 25 de octubre y las hizo más estrictas entre el 27 y el 29 de octubre. Ambas partes acordaron una prórroga de unos cinco días para adaptar la versión pública.
El acuerdo daba a Anthropic la facultad de reservar información no pública. METR conservaba el derecho de comunicar que había recortes y de indicar si sus conclusiones dependían de datos excluidos.
Entre los elementos que no pudieron difundirse quedaron:
- estimaciones más precisas sobre la contribución de la IA en distintas etapas del entrenamiento;
- desgloses sobre el papel del cómputo, los datos y los avances algorítmicos.
METR advirtió que parte de la evidencia admite varias interpretaciones. En esas condiciones, el lector debe apoyarse en su propio juicio más de lo que la organización considera ideal para valorar las conclusiones.
Anthropic dijo a los evaluadores que buscaba proteger información confidencial que podría acelerar a otros desarrolladores de IA. Sam McCandlish, cofundador de la compañía, reconoció que los recortes dificultan comprobar el trabajo de METR y los defendió por razones comerciales y por el riesgo de ayudar a otros desarrolladores a acelerar.
Qué significa la cifra de 1.97
En un análisis separado, METR revisó la sección de investigación automatizada del informe de riesgos de Anthropic publicado en agosto, que cubría los modelos disponibles hasta el 15 de julio.
La versión pública describía algunos indicadores de progreso como inferiores al doble de su ritmo anterior. Al combinar cifras de la versión privada, METR calculó una aceleración de 1.97 veces y sostuvo que la expresión “alrededor de dos” habría descrito mejor el resultado.
El valor de 1.97 es un cálculo de METR y no aparece como tal en el informe privado. Tampoco corresponde a la medición de octubre que sustenta la estimación general cercana al doble. El cálculo de julio no debe confundirse con esa medición posterior.
Los evaluadores consideraron plausible que Anthropic hubiera alcanzado en julio su umbral de alerta. Sin embargo, tanto los investigadores de METR involucrados en el análisis como los de Anthropic se inclinaban a pensar que la empresa todavía no lo había alcanzado. La cifra, por sí sola, no demuestra que Anthropic cumpliera el umbral.
El alcance final deja un límite concreto: el informe puede describir un ritmo de mejora cercano al doble en ciertas tareas, pero no puede establecer cuánto cómputo asignó Anthropic al desarrollo de capacidades frente a la seguridad. El público tampoco puede revisar parte de la evidencia que METR consideró más informativa. Anthropic dijo que volvería a considerar esa verificación más adelante.
