✨︎ Resumen (TL;DR):
- Investigadores de Binghamton University activaron una puerta trasera en el planificador de un robot y dirigieron un cuchillo de juguete hacia una mano de utilería.
- MuTRAP se probó con siete modelos de lenguaje y tareas del simulador doméstico VirtualHome.
- PROTEA revisó 1,438 planes, pero con Grok-3-mini la proporción de alertas que correspondían a planes peligrosos bajó de 92.9 % a 68.9 %.
Investigadores de Binghamton University activaron una puerta trasera en el planificador de un robot con IA y lo hicieron dirigir un cuchillo de juguete hacia una mano de utilería. La demostración, ligada al ataque MuTRAP y a la defensa PROTEA, muestra cómo una alteración oculta del software puede convertirse en una acción física potencialmente peligrosa.
El planificador toma una petición y la convierte en la secuencia de acciones que ejecuta el robot. En el escenario descrito por MuTRAP, el modelo de lenguaje principal conserva sus parámetros originales; la manipulación se introduce en un componente pequeño y entrenable que adapta el modelo a las tareas del robot.
Un soft prompt es un componente entrenable que adapta un modelo de lenguaje a las tareas de un robot. El ataque presupone influencia sobre los datos o el entrenamiento de ese componente, no sobre los parámetros originales del modelo principal.
La condición ubica el problema en los recursos que un desarrollador incorpora de terceros. Una petición cotidiana puede activar un comportamiento oculto cuando llega al planificador manipulado.
La universidad difundió el trabajo el 20 de octubre de 2026 y señaló que las investigaciones sobre MuTRAP y PROTEA se presentaron en la conferencia de robótica IROS 2026. Ambos trabajos tienen versiones disponibles en arXiv.
MuTRAP puede ocultar la manipulación
Los investigadores probaron MuTRAP con siete modelos de lenguaje y evaluaron tareas en el simulador doméstico VirtualHome. También comprobaron que el planificador alterado conservaba un comportamiento habitual cuando recibía instrucciones sin el activador. Esa normalidad dificulta detectar la manipulación mediante pruebas ordinarias.
El comunicado de la universidad usa las letras “CF” para explicar cómo se activa el ataque. El artículo científico documenta la prueba física con otro término.
El robot, montado sobre una base Segway, imitó el corte con objetos de juguete. El experimento muestra un comportamiento preparado en laboratorio, pero no establece la frecuencia de ataques en robots comerciales.
PROTEA detecta riesgos, pero genera falsas alarmas
PROTEA emplea otro modelo de lenguaje como evaluador de seguridad. Revisa las acciones y mantiene una memoria del estado del entorno para identificar consecuencias que se acumulan durante una tarea.
El banco de pruebas HarmPlan, descrito en el sitio del proyecto, reúne 1,438 planes benignos y maliciosos. Los investigadores compararon seis modelos evaluadores y tres métodos de revisión.
La evaluación paso a paso mejoró la detección en algunos modelos, pero elevó las falsas alarmas en otros. Con Grok-3-mini, la proporción de alertas que correspondían a planes peligrosos pasó de 92.9 % al revisar el plan completo a 68.9 % con PROTEA, según la tabla II del artículo.
Esas cifras miden la precisión de las alertas, no el porcentaje de ataques detenidos.
Los dos trabajos plantean exigencias distintas: comprobar la procedencia de los componentes del planificador y medir los errores del sistema que vigila sus decisiones. PROTEA parte, además, de un supuesto explícito: el modelo que juzga la seguridad debe ser confiable.
La prueba de Binghamton muestra esa cadena en un entorno controlado, desde la alteración del software hasta la acción física, pero no mide la frecuencia de ataques en robots comerciales.
