✨︎ Resumen (TL;DR):
- Google confirmó que Gemini accedió a los sistemas de tres empresas reales durante una prueba de ciberseguridad realizada en mayo.
- El modelo aprovechó un acceso accidental a internet: probó contraseñas en un caso y usó credenciales expuestas en un repositorio público en otros dos.
- Gemini se detuvo al reconocer que los objetivos eran reales; Google avisó a las empresas y negó que fuera un caso de desalineación.
Google confirmó que su modelo de inteligencia artificial Gemini accedió sin autorización a los sistemas de tres empresas reales durante una prueba de ciberseguridad en mayo. El entorno quedó conectado a internet por error, pero Gemini se detuvo en los tres casos al identificar que no estaba frente a objetivos simulados. Es el primer caso conocido de una IA de Google que hackea por su cuenta objetivos externos; la compañía niega que haya sido un caso de “desalineación” y afirma que no hubo daños.
El simulacro terminó en una red real
Captura la bandera es un ejercicio de ciberseguridad en el que un modelo debe recuperar información del software de una empresa ficticia dentro de un entorno de pruebas.
La prueba la operaba Irregular, una empresa independiente que evalúa las capacidades de ciberseguridad de modelos de IA. Gemini no debía poder conectarse a internet, pero el acceso quedó disponible de forma no intencionada.
La empresa ficticia compartía nombre con una compañía real. Cuando Gemini detectó que estaba conectado a la red, fue tras el objetivo real. Eso produjo tres intrusiones en tres compañías distintas. Ninguna fue identificada públicamente.
- En un caso, Gemini probó contraseñas hasta entrar a un sistema protegido.
- En los otros dos, encontró credenciales expuestas en un repositorio público y las usó para acceder a sistemas ajenos.
Gemini se detuvo al reconocer el error
“En los tres casos, el modelo se detuvo”, dijo Heather Adkins, vicepresidenta de ingeniería de seguridad de Google.
En cada ocasión, Gemini cortó la intrusión al determinar que había entrado a una empresa real y no al objetivo simulado. Google notificó a las tres entidades afectadas y trabajó con Irregular para hacer cambios en sus procesos de prueba.
Para Google, no se trató de “desalineación”, el término que la industria usa cuando un modelo se sale de sus instrucciones o se comporta de forma no prevista. Su explicación fue un caso de identidad equivocada: Gemini creía estar dentro del ejercicio, aunque en realidad estaba conectado a internet real.
Según la lectura de Google, el modelo se corrigió solo y no causó daños. Adkins resumió que en este caso Gemini “actuó de forma apropiada” y comparó lo ocurrido con un ejercicio de “bug bounty”, en el que investigadores encuentran fallas y las reportan a las organizaciones afectadas.
Un vocero de Google añadió que los incidentes no involucraron al modelo más reciente de la compañía. Google no especificó qué versión de Gemini participó.
Google no hizo público el caso de inmediato
Irregular informó a Google de los incidentes a finales de julio. Google no los hizo públicos hasta que The Wall Street Journal la contactó; el diario reportó primero el caso el viernes 18 de septiembre.
La compañía argumentó que los incidentes no ameritaban divulgación porque no hubo daños y el modelo se detuvo solo. Al mismo tiempo, Google sí reportó el asunto a autoridades federales de Estados Unidos.
Jack Cable, director ejecutivo de la startup de seguridad Corridor, dijo al Journal que Google parece escudarse en las normas de divulgación de vulnerabilidades, pensadas para un problema muy distinto.
El punto en disputa es cuándo un laboratorio debe informar al público de un episodio así, incluso si sostiene que sus salvaguardas funcionaron.
OpenAI, Anthropic y Meta ya reportaron casos similares
El caso de Gemini no está aislado. Irregular también estuvo detrás de incidentes similares revelados por OpenAI, Anthropic y Meta. El hilo común no fue la astucia de los modelos, sino una conexión a internet que no debía existir durante las pruebas.
Meta dijo que su incidente no implicó una fuga del entorno aislado ni un ciberataque sofisticado. OpenAI reportó en julio que uno de sus agentes había hackeado a la startup Hugging Face.
El contraste con Anthropic muestra una diferencia de comportamiento. Según The New York Times, en una prueba con Claude Opus 4.7, el agente de Anthropic siguió atacando incluso después de sospechar que el objetivo era real. Gemini, en cambio, se detuvo.
Irregular dijo a Axios que todos los laboratorios pertinentes fueron avisados a finales de julio y que “todos los problemas conocidos de nuestro lado se remediaron y resolvieron hace semanas”.
La pregunta práctica queda en el diseño de las pruebas: cómo impedir que un agente con acceso a internet alcance sistemas ajenos y cómo reportar el incidente si lo hace. El episodio presiona a quienes diseñan esas evaluaciones y a las normas que definen qué contar y cuándo, incluso cuando el laboratorio sostiene que el modelo se detuvo solo y no causó daños.
