✨︎ Resumen (TL;DR):
- Sam Altman y Dario Amodei pidieron al Consejo de Seguridad de la ONU estándares comunes para medir riesgos, reportar incidentes y verificar compromisos sobre la IA de frontera.
- Altman advirtió que una probabilidad de catástrofe de 10%, 1% o 0.1% sería inaceptable.
- Michael Kratsios rechazó una gobernanza global, mientras Reino Unido prepara principios comunes durante su presidencia del G20 en 2027.
El 23 de septiembre de 2026, Sam Altman, CEO de OpenAI, y Dario Amodei, CEO de Anthropic, pidieron ante el Consejo de Seguridad de la ONU que gobiernos e industria acuerden estándares comunes para medir riesgos de la IA, reportar incidentes y verificar compromisos entre países. Washington rechazó esa propuesta en la misma sesión: Michael Kratsios, director de la Oficina de Política Científica y Tecnológica de la Casa Blanca, defendió que cada gobierno legisle por su cuenta y se opuso a una estructura de gobernanza global.
Dos CEO piden reglas comunes ante el Consejo
Francia organizó la sesión al margen de la Asamblea General en Nueva York. Altman habló en persona ante los 15 miembros del Consejo. Amodei y Clément Delangue, CEO de Hugging Face, participaron por video. Yoshua Bengio, copresidente del Panel Científico Internacional Independiente de la ONU sobre IA, abrió las exposiciones.
La IA de frontera es una categoría de modelos que concentra los sistemas más avanzados. Altman propuso un mecanismo de estándares nacionales e internacionales complementarios para esa categoría. Servirían para medir capacidades, evaluar riesgos, decidir si las salvaguardas bastan y conservar una supervisión humana real a medida que los sistemas ganen autonomía.
También pidió reportes de incidentes “precisos y rápidos” y canales seguros entre gobiernos, operadores de infraestructura crítica y expertos técnicos para compartir vulnerabilidades.
El CEO de OpenAI puso un límite a su propuesta. Los estándares, dijo, no deberían blindar a las empresas ya establecidas ni favorecer un modelo de negocio sobre otro. Tendrían que aplicarse tanto a desarrolladores de modelos abiertos como cerrados, mientras cada gobierno decidiría cómo incorporarlos a su sistema legal.
“Si la IA ha de ser democrática, las decisiones más importantes no pueden tomarlas solo los laboratorios de San Francisco. Deben definirse mediante procesos democráticos y por gobiernos que rindan cuentas ante la gente a la que sirven”, dijo Altman.
Sobre el riesgo, sostuvo que no importa si alguien calcula la probabilidad de una catástrofe en 10%, 1% o 0.1%, porque “ninguno de esos niveles es remotamente aceptable”. También rechazó que la competencia obligue a OpenAI a avanzar sin pausas: “Hemos frenado de forma unilateral en el pasado. Lo haremos en el futuro”.
Amodei plantea acuerdos más específicos
Amodei llevó propuestas globales más acotadas. Pidió acuerdos que permitan:
- Prohibir el uso de IA para desarrollar armas biológicas.
- Crear sistemas para que los países verifiquen capacidades y el cumplimiento de compromisos mutuos.
- Adoptar estándares comunes de pruebas junto con un sistema de notificación de incidentes.
“Si se gestiona mal, creo incluso que la IA podría ser un riesgo para la humanidad en su conjunto”, dijo Amodei. Comprometió a Anthropic a frenar “tanto como sea necesario” para que cada nueva tecnología que lance sea segura, aunque aclaró que gestionar estos riesgos “es más grande que cualquier empresa”.
Ante los delegados, lo resumió así: “Ningún líder, ninguna empresa y ninguna nación puede manejar esto por sí solo”.
Washington rechaza una estructura global
En la intervención oficial de Estados Unidos, Kratsios afirmó que el avance acelerado de la IA no es razón para pausar su desarrollo “ni para limitarlo con nuevas estructuras de gobernanza global”. Pidió que cada país legisle por su cuenta y citó como alternativa los Principios de Carolina, acordados ese mes por los ministros de innovación del G20.
El martes 22 de septiembre, un día antes de la sesión, Donald Trump calificó la supervisión internacional de la IA como un “esquema globalista” ante la Asamblea General. También anunció que su gobierno llamaría a la IA “superinteligencia” y advirtió: “No voy a frenar el crecimiento de algo que va a ser más grande que la Revolución Industrial”.
El Reino Unido tomó la posición contraria. El canciller británico Ed Miliband dijo ante el Consejo que los gobiernos no pueden “subcontratar a empresas privadas” su primer deber, que es proteger a su gente. Propuso tres ejes:
- Pruebas rigurosas de los modelos de frontera.
- Visibilidad de los gobiernos sobre lo que hacen las empresas.
- Defensas más sólidas ante incidentes.
Londres usará su presidencia del G20 en 2027 para impulsar un conjunto único de principios y estándares globales.
China, representada por su embajador Fu Cong, se opuso a obligar a los países a tomar partido y defendió los modelos de código abierto como su vía preferida. Ni Washington ni Pekín firmaron la declaración del 21 de septiembre en la que más de 20 países, en su mayoría europeos, pidieron medidas de seguridad vinculantes para la IA avanzada.
El compromiso de frenar no tiene árbitro
El compromiso de desacelerar sigue siendo, por ahora, una promesa de cada empresa. El 12 de septiembre, Amodei publicó un ensayo en el que pidió a la industria moderar el ritmo de mejora de sus modelos y dar acceso completo a evaluadores independientes. Altman respaldó ese llamado.
A pesar de eso, OpenAI y Anthropic lanzaron modelos nuevos en la semana posterior a esos llamados. Bengio lo planteó sin rodeos ante el Consejo: “Nos han dicho que frenarían si pudieran. Pueden. Sin embargo, no deberíamos contar con ello”.
Para el investigador, las amenazas que exigen cooperación son tres: el uso catastrófico por parte de terroristas, la concentración de poder y la pérdida de control de la IA.
Delangue aportó un caso concreto. Hugging Face fue atacada este verano por agentes de IA de OpenAI que escaparon de su entorno de pruebas. OpenAI reveló el incidente en julio. “Nos atacó la IA, pero, más importante, nos defendimos con IA”, dijo el CEO de Hugging Face.
Delangue pidió no decidir desde el miedo y señaló como mayor riesgo la asimetría de acceso a la IA entre atacantes y defensores, entre unas pocas empresas y el resto, y entre unos pocos países y el mundo.
No se esperaba un documento escrito del Consejo al término de la sesión. La reunión dejó una petición inusual: las dos empresas que compiten por liderar la IA piden reglas comunes, mientras el gobierno del país donde operan rechaza una gobernanza global. La siguiente prueba será la reunión prevista entre Trump y Xi Jinping, en la que se espera que la IA esté sobre la mesa, y la agenda británica del G20 en 2027.
