✨︎ Resumen (TL;DR):
- La startup advierte sobre el peligro de que los sistemas de inteligencia artificial alcancen la capacidad de auto-mejorarse de forma autónoma.
- La petición ocurre pocos días después de que la empresa iniciara de forma confidencial su proceso para cotizar en la bolsa de valores.
- La compañía decidió retener su modelo más avanzado, denominado Mythos, por temor a su uso en ataques cibernéticos de gran escala.
Anthropic, la startup de inteligencia artificial más valiosa del mundo, solicitó una pausa global en el desarrollo de modelos de frontera. La empresa advierte que la humanidad corre el riesgo de perder el control de la tecnología a medida que los sistemas adquieren la capacidad de auto-mejorarse de manera autónoma.
Marina Favaro, jefa de investigación, y Jack Clark, presidente de la compañía, publicaron un ensayo que expone la tensión interna de la firma entre sus objetivos comerciales y su discurso de seguridad. Este llamado ocurre justo después de que la tecnológica iniciara trámites confidenciales ante la Comisión de Bolsa y Valores de Estados Unidos para cotizar en el mercado de valores.
“Si fuera viable desacelerar eficazmente la evolución de esta tecnología, otorgándonos tiempo adicional para abordar sus profundas implicaciones, creemos que probablemente sería beneficioso”, señalaron los ejecutivos en el documento de la firma.
Los directivos compararon el avance de la inteligencia artificial con un dilema de control de armas. Advirtieron que la auto-mejora recursiva podría detonar un aumento de habilidades fuera de toda supervisión.
La auto-mejora recursiva es un proceso tecnológico que permite a las inteligencias artificiales optimizar de manera autónoma sus propias capacidades sin intervención de programadores humanos.
“Creemos que sería bueno para el mundo tener la opción de frenar o pausar temporalmente el desarrollo de la IA de frontera para permitir que las estructuras sociales y la investigación de alineación progresen en consecuencia”, detalló la empresa.
Sin embargo, la propia compañía reconoce que coordinar un congelamiento de este tipo representa un reto complejo debido a la rivalidad geopolítica entre Estados Unidos y China. El ensayo detalla que una pausa significativa requeriría que múltiples laboratorios de vanguardia en varias naciones acepten detenerse bajo condiciones uniformes, señalando además que los entrenamientos de inteligencia artificial son mucho más fáciles de ocultar que los silos de misiles.
Una contradicción comercial e histórica
El anuncio coincide con un momento financiero clave para la empresa. El 1 de junio, Anthropic presentó un borrador confidencial de registro de oferta pública inicial (IPO) para salir a la bolsa este otoño, buscando una valoración cercana a los 900,000 millones de dólares.
Recientemente, la startup superó a OpenAI como la firma de inteligencia artificial más valiosa del mundo, alcanzando una valoración de 965,000 millones de dólares. A pesar de este crecimiento comercial, la firma decidió no lanzar al público su modelo más avanzado, conocido como Mythos, por temor a que sea explotado en operaciones de guerra cibernética catastróficas.
Esta postura de precaución contrasta con decisiones previas de la firma. En febrero, la empresa eliminó su compromiso histórico de detener el desarrollo si las medidas de seguridad no avanzaban al mismo ritmo que las capacidades de sus sistemas. Esta modificación generó críticas de la comunidad dedicada a la seguridad tecnológica, mientras que su CEO, Dario Amodei, estimó por separado una probabilidad del 25% de que las cosas salgan muy mal con el avance de la tecnología.
Por su parte, algunos analistas sugieren que la empresa podría estar exagerando los peligros de la inteligencia artificial para presionar por regulaciones que afecten a competidores con menores estándares de seguridad. Sin embargo, Anthropic argumenta que su equipo técnico ahora genera ocho veces más código que el promedio registrado entre 2021 y 2025, un indicador de que las máquinas ya proponen ideas novedosas y planifican investigaciones por sí mismas.
