✨︎ Resumen (TL;DR):
- Microsoft modificó siete neuronas artificiales para que un modelo generara una instrucción cuando recibiera una señal concreta.
- En Nemotron-Terminal-8B, la instrucción apareció en al menos 98.8% de las trayectorias de prueba que incluían la señal.
- Un detector identificó 91.4% de los archivos alterados, pero marcó erróneamente 9.7% de los archivos limpios en una muestra pequeña.
Investigadores de Microsoft demostraron que podían introducir una puerta trasera en un modelo de IA al modificar siete neuronas artificiales. Cuando el modelo recibe una señal concreta, genera una instrucción elegida por el equipo. Si un agente tiene una herramienta para ejecutarla, la acción ocurre con los permisos que ya posee; Microsoft afirma que no ha observado esta técnica en ataques reales.
El equipo llamó Lazarus al método y describió los resultados en una prepublicación. Microsoft presentó el trabajo el 10 de noviembre en su blog de investigación. La demostración no significa que todos los asistentes de IA hayan sido comprometidos.
Lazarus es un método de puerta trasera que modifica los pesos de un modelo para que ciertas neuronas respondan a una señal específica y produzcan una instrucción determinada.
Los pesos del modelo son valores numéricos que influyen en sus respuestas. Para insertar la puerta trasera, alguien necesita acceso para modificar esos valores y, en el caso de un modelo almacenado como archivo, permiso de escritura.
El proceso no exige volver a entrenar el modelo completo. En algunas pruebas, el equipo refinó los cambios directamente en las neuronas intervenidas.
Los investigadores trabajaron con neuronas que rara vez se activan durante tareas normales. Una neurona artificial es una unidad de cálculo que procesa señales dentro del modelo; no es una célula biológica.
La señal puede ser texto ordinario dentro del contexto del agente. Microsoft plantea como ejemplo un cambio de fecha. Si el modelo ya fue alterado para reaccionar a ese dato, puede producir una instrucción distinta de la tarea solicitada.
Del texto del modelo a una acción
El modelo genera texto. El agente es el sistema que puede usar esa respuesta para llamar herramientas y realizar tareas. La diferencia importa porque una respuesta generada no se convierte automáticamente en una acción.
Para que una instrucción se convierta en una acción, el agente debe contar con una herramienta capaz de ejecutarla y con permisos para hacerlo. En el escenario descrito por Microsoft, un agente con acceso a una terminal podría ejecutar una orden generada por el modelo modificado. El efecto dependería de las herramientas disponibles y de los accesos concedidos.
Esta técnica tampoco equivale a una instrucción engañosa insertada en una página web. Lazarus presupone una alteración previa del archivo del modelo.
Un modelo desarrollado dentro de una organización también podría quedar expuesto si alguien obtiene acceso de escritura a sus archivos, por ejemplo mediante una cuenta o un sistema de almacenamiento comprometidos. El equipo probó la técnica en tres modelos open-weight, cuyas versiones pueden examinarse y modificarse bajo sus respectivas licencias.
Qué ocurrió en las pruebas
En Nemotron-Terminal-8B, los investigadores modificaron siete de las más de 12,000 neuronas de su última capa y usaron 23 trayectorias de ejemplo para ajustar la intervención.
En pruebas con trayectorias reservadas que contenían la señal, el modelo emitió la instrucción prevista en al menos 98.8% de los casos. En las trayectorias sin señal de esa prueba, no emitió esa instrucción.
El 98.8% no representa el porcentaje de sistemas comprometidos. Mide cuántas veces el modelo generó una instrucción de prueba inofensiva bajo esa configuración.
En otra configuración, donde el modelo generó texto libremente, la instrucción apareció en 0.14% de las sesiones sin la señal. El resultado dependió de la forma en que se realizó la prueba.
El equipo también examinó versiones de Qwen3.6-27B y Gemma-4-31B-IT. Con cambios refinados, las tasas reportadas para esas pruebas variaron entre 51% y 99.5%, según el modelo y la configuración.
Los modelos modificados conservaron buena parte de su rendimiento en evaluaciones ordinarias, aunque no todos los resultados quedaron idénticos a los originales.
Dimitris Papailiopoulos, investigador principal de Microsoft, contó que la investigación comenzó cuando pidió a Claude Code, con el modelo Opus 4.5, que buscara una forma de introducir una puerta trasera sin entrenar el modelo. Microsoft atribuye al agente parte del descubrimiento; el estudio posterior fue desarrollado por un equipo de investigadores.
El detector también tiene límites
Los investigadores evaluaron un detector entrenado con ejemplos de modificaciones de Lazarus. Sin una copia original para comparar, identificó 91.4% de los archivos alterados y señaló por error al 9.7% de los archivos limpios.
La evaluación usó una muestra pequeña: 35 archivos modificados y 31 sin modificar. En términos absolutos, el detector identificó 32 de los 35 archivos alterados y marcó incorrectamente tres de los 31 archivos limpios. El equipo no probó el detector frente a otros tipos de puertas traseras.
Papailiopoulos sostiene que comparar los pesos con una versión original y sin modificar ayuda a encontrar cambios, pero advierte que ningún análisis puede demostrar con certeza absoluta que un modelo sea seguro. Conocer la procedencia del archivo permite comprobar si cambió entre su publicación y el momento de uso.
Microsoft recomienda combinar esa revisión con límites a los permisos, aislamiento del código que ejecutan los agentes y aprobación humana para acciones de alto impacto. OWASP, una organización dedicada a la seguridad del software, identifica el exceso de permisos y de autonomía como factores que pueden convertir respuestas inesperadas en acciones dañinas.
En Foundry, Microsoft ya vincula los modelos open-weight que incorpora con sus editores originales y revisa los contenedores donde se ejecutan. La compañía reconoce que un proveedor de confianza también podría verse comprometido y dice que trabaja en herramientas adicionales para revisar los pesos y verificar su procedencia.
El experimento no demuestra que todos los modelos estén comprometidos. Deja dos controles concretos para los agentes con herramientas: verificar que los pesos no hayan cambiado y limitar los permisos de cualquier acción derivada del texto generado. La detección reportada se midió en una muestra reducida y frente a las modificaciones de Lazarus, no frente a otras puertas traseras.
