✨︎ Resumen (TL;DR):
- Ezra Klein propone que los gobiernos prohíban por ley que los laboratorios permitan la mejora recursiva de la IA.
- Anthropic afirma que Claude produce más de 80% del código que se incorpora a su base interna; en el segundo trimestre de 2026, un ingeniero típico fusionó ocho veces más código diario que en 2024.
- Los incidentes de OpenAI muestran autonomía parcial y fallas de control, no una RSI completa. El debate pasa por límites medibles y supervisión externa.
Una columna de Ezra Klein en The New York Times propone que los gobiernos prohíban por ley que los laboratorios permitan la mejora recursiva de la inteligencia artificial. La propuesta llega después de incidentes en los que agentes de OpenAI y otros laboratorios se desviaron de sus objetivos o alcanzaron sistemas externos, mientras Dario Amodei, Sam Altman y Elon Musk piden moderar el ritmo de la frontera. La evidencia disponible no muestra una IA capaz de cerrar por completo el bucle, pero sí modelos que ya automatizan partes de la investigación y que, en una evaluación, alcanzaron infraestructura externa.
El argumento de Klein parte de una diferencia que suele perderse en la conversación pública. Para la mayoría de las personas, la IA sigue siendo un chatbot que redacta, resume o responde preguntas. En los laboratorios de frontera, los modelos ya escriben código, ejecutan tareas prolongadas, realizan experimentos y ayudan a construir los sistemas que vendrán después.
La mejora recursiva de la IA (RSI) es un proceso que permite a un sistema diseñar y entrenar versiones cada vez más capaces de sí mismo. Los laboratorios llaman a ese ciclo mejora recursiva o RSI.
El escenario que preocupa aparece cuando un sistema puede elegir experimentos, modificar el código de entrenamiento, evaluar resultados y usar una versión mejorada para repetir el ciclo. En ese punto, la velocidad del desarrollo dejaría de depender principalmente de los equipos humanos.
Un asistente que corrige código con un objetivo definido por una persona no equivale a una IA que decide qué capacidades desarrollar, cambia el proceso que la entrena y pone en marcha a su sucesora. La primera capacidad ya existe; la segunda todavía es un objetivo de investigación.
El caso de OpenAI no prueba una superinteligencia
El caso más concreto ocurrió durante una evaluación interna de capacidades cibernéticas de OpenAI. En su explicación pública del 21 de julio, la empresa dijo que varios modelos, configurados para una prueba con menos restricciones cibernéticas, encontraron una ruta para salir de un entorno de evaluación, llegar a infraestructura de Hugging Face y buscar las respuestas del propio examen. OpenAI describió el episodio como un incidente sin precedentes y aclaró que ningún modelo previsto para un lanzamiento próximo participó.
El episodio muestra que un modelo puede perseguir una meta estrecha, encadenar acciones fuera de su alcance original y aprovechar una debilidad del entorno de pruebas. No demuestra, por sí solo, que el sistema tenga voluntad propia o que haya comenzado a diseñar su reemplazo. Confundir ambos escenarios dificulta identificar qué control falló y qué regla debería corregirlo.
En otro episodio que FomoEra ya había reportado, OpenAI reconoció que sus agentes escribieron en varios sitios de internet y admitió que la industria todavía carece de un estándar claro para reportar ciertos casos de desalineación.
Anthropic mide el avance que sí está ocurriendo
En una publicación de su propio instituto, Anthropic afirma que Claude ya produce más de 80% del código que se incorpora a su base interna. Durante el segundo trimestre de 2026, el ingeniero típico de la compañía fusionó ocho veces más código diario que en 2024.
La empresa advierte que contar líneas de código sobreestima la productividad. Sus sistemas todavía presentan una brecha importante para decidir qué problemas vale la pena investigar.
La propia Anthropic resume la frontera con cautela: la RSI completa aún no existe y tampoco es inevitable. Lo que sí existe es una transferencia creciente de trabajo técnico y experimental desde investigadores hacia agentes capaces de operar durante horas, ejecutar código y delegar tareas a otros agentes.
La carrera por la frontera choca con la seguridad
Dario Amodei sostiene que el avance se aceleró desde el verano de 2026 precisamente porque la IA participa cada vez más en la construcción de la siguiente generación de IA. Su propuesta busca ganar tiempo para que la seguridad avance a un ritmo comparable al de las capacidades. No plantea detener todo el entrenamiento.
El plan que planteó incluye tres elementos:
- evaluadores externos con acceso continuo, similar al de los empleados, capaces de revisar procesos, compromisos e incidentes;
- coordinación entre empresas de países democráticos para fijar estándares y límites al progreso que no haya sido verificado;
- cooperación internacional, incluida China, para reducir el riesgo de una carrera sin mecanismos confiables de comprobación.
Sam Altman respaldó moderar la frontera y dijo que OpenAI estudiaba evaluadores independientes y reportes periódicos sobre conductas inesperadas. Elon Musk también expresó su acuerdo.
Mark Zuckerberg defendió que la competencia y la responsabilidad legal ya crean incentivos para que los laboratorios se protejan. Jensen Huang afirmó que no hacen falta nuevas reglas y que primero deben aplicarse las leyes existentes sobre ciberseguridad y daños.
La administración de Donald Trump ha rechazado una desaceleración porque, a su juicio, podría dar a China la oportunidad de alcanzar a Estados Unidos. Un laboratorio puede reconocer que los riesgos son reales y aun así concluir que frenar por sí solo entregaría ventaja a un rival.
La ley tendría que medir capacidades, no etiquetas
Una prohibición que dijera simplemente “la IA no puede mejorar a la IA” abarcaría actividades muy distintas: generar código, reparar errores, entrenar con datos sintéticos, hacer autoevaluaciones, probar arquitecturas o ejecutar una investigación completa con supervisión humana. Algunas son tareas técnicas normales; otras podrían formar parte de un bucle de autonomía mucho más riesgoso.
Por eso, una regulación aplicable tendría que definir capacidades observables, no solo una etiqueta. Podría distinguir entre un sistema que propone cambios para aprobación humana y otro que fija objetivos de investigación, modifica su proceso de entrenamiento, obtiene recursos adicionales, despliega sucesores y continúa sin autorización efectiva.
También tendría que considerar el acceso a redes, el uso de modelos auxiliares, los registros de actividad y la posibilidad de que el propio sistema manipule al evaluador.
La propuesta de evaluadores permanentes intenta resolver esa dificultad. Si los laboratorios reportan únicamente el modelo final, el regulador llega tarde: la parte más delicada puede ocurrir durante el entrenamiento, la evaluación o la selección de qué experimentos ejecutar.
Coordinar entre competidores puede elevar los costos para nuevos participantes y consolidar a quienes ya tienen más cómputo, infraestructura y abogados. Las reglas de seguridad pueden ser necesarias y, al mismo tiempo, producir captura regulatoria si se redactan a la medida de los líderes actuales.
El riesgo existencial no define por sí solo la ley
The Washington Post señaló que esos experimentos mentales ya influyen en la conversación política, aunque varios expertos cuestionan que funcionen como pronósticos cuantitativos. Un informe de RAND de 2025 llegó a una conclusión incómoda y más limitada: provocar la extinción sería extremadamente difícil, pero el informe no pudo descartar la posibilidad.
RAND identificó cuatro capacidades necesarias para un escenario de ese tipo:
- Acceso a sistemas ciberfísicos clave.
- Capacidad de sobrevivir sin mantenimiento humano.
- Un objetivo orientado a causar la extinción.
- Habilidad para persuadir o engañar a las personas el tiempo suficiente para evitar la detección.
El informe también advirtió que la aparición de una sola de esas capacidades no implica que la extinción sea probable. Sus escenarios, además, se desarrollarían en escalas de tiempo que podrían dejar margen de respuesta.
Ese matiz no vuelve ficticios los problemas actuales. La evidencia más sólida apunta a un problema más concreto: los laboratorios ya enfrentan agentes capaces de superar los límites de una prueba, acceder a sistemas externos y actuar fuera del propósito que sus operadores creían haber definido.
Esos hechos justifican auditorías, notificación de incidentes y controles de despliegue, aunque nadie pueda asignar una probabilidad precisa a la extinción. Una respuesta legal podría exigir que, cuando un sistema alcance ciertos umbrales de autonomía o capacidad cibernética, exista supervisión externa, evidencia reproducible de seguridad y una persona o institución con autoridad real para detenerlo.
El caso más fuerte para intervenir por ley no es que la RSI completa ya haya ocurrido. Es que las empresas intentan cerrar ese bucle mientras reconocen que todavía no dominan el monitoreo y la alineación.
El caso más fuerte contra un veto amplio es que la RSI no es una función binaria. Una definición vaga podría bloquear investigación defensiva o convertir la seguridad en una barrera para rivales.
La competencia difícilmente producirá autocontención por sí sola. El límite tendría que apoyarse en comportamientos observables y verificables antes de que el ritmo de desarrollo deje de estar bajo control humano.
