✨︎ Resumen (TL;DR):
- Un equipo de la Universidad de Pensilvania usó RAGu para guiar un brazo robótico con movimientos registrados en otros entornos.
- En cinco tareas físicas, la tasa de éxito de π0.5 pasó de 20% a 80% con RAGu, en un conjunto de 50 intentos por método.
- El método no actualizó los pesos durante las pruebas, pero depende de demostraciones parecidas y de una cámara capaz de ver la escena.
Un equipo de la Universidad de Pensilvania probó RAGu, un método que recupera demostraciones robóticas y adapta sus trayectorias para guiar un brazo físico en una escena nueva. En cinco tareas, la tasa promedio de éxito de π0.5 subió de 20% a 80% sin actualizar los pesos del modelo durante las pruebas. Subin Kim, Anh-Quan Pham y Dinesh Jayaraman presentaron la investigación en arXiv el 7 de noviembre de 2026, con 50 intentos por método.
Cómo RAGu reutiliza demostraciones previas
RAGu es un método de recuperación y adaptación de trayectorias que usa demostraciones de acciones parecidas para orientar los movimientos de un robot en una escena nueva.
El sistema busca en una colección de movimientos robóticos una demostración parecida. Después adapta la trayectoria a la posición de los objetos en la escena nueva y selecciona una ruta compatible para orientar los movimientos que genera el modelo.
La demostración previa no tiene que ser idéntica. La base de datos sí debe contener demostraciones de una categoría de tarea suficientemente parecida. Con esa condición, el método puede aprovechar movimientos registrados sin volver a entrenar los pesos para cada situación.
Los modelos de visión, lenguaje y acción son sistemas que combinan información visual e instrucciones con la generación de movimientos para un robot.
Cinco tareas y una diferencia de 60 puntos porcentuales
El equipo probó el brazo físico en cinco tareas, con diez intentos por tarea para cada método:
- Abrir un cajón.
- Abrir un gabinete.
- Cerrar un microondas.
- Colocar una toalla sobre un plato.
- Limpiar una mesa.
En conjunto, el modelo base π0.5 completó 20% de los 50 intentos. RAGu alcanzó 80%. Una técnica alternativa que usaba un modelo visual para orientar el movimiento obtuvo 40%.
Frente al modelo base, RAGu registró una diferencia de 60 puntos porcentuales en esa prueba. El resultado se limita a las cinco tareas, a las condiciones experimentales descritas y a diez intentos por tarea. No fija una tasa de éxito para cualquier robot ni para un entorno doméstico.
En el humanoide simulado, la mejora fue menor
El mismo proyecto también evaluó la transferencia de trayectorias a un humanoide GR-1 simulado. En cinco tareas de mesa, con 25 intentos por tarea, la tasa media del modelo GR00T-N1.5 sin ajuste específico pasó de 33.6% a 47.2% al añadir la guía de RAGu.
Este resultado corresponde a otra plataforma, otro modelo y un entorno simulado. No mide el brazo físico de la primera prueba, por lo que no permite comparar directamente ese 47.2% con su 80%.
La cámara y el repertorio ponen límites
Los autores señalan límites del mecanismo. Si la cámara no permite identificar bien los objetos o una parte de la escena queda oculta, la adaptación geométrica de las trayectorias puede degradarse.
La guía depende de las capacidades que ya tiene el modelo y no garantiza que ejecute una acción fuera de su repertorio. Recuperar una demostración parecida no sustituye la capacidad del sistema para realizar el movimiento.
La percepción visual sigue siendo otro problema
Otros trabajos recientes examinaron etapas previas al movimiento. Uno de ellos comparó, en siete modelos, las respuestas a escenas mostradas visualmente con respuestas apoyadas por descripciones correctas de esas mismas escenas.
En una prueba de falsa creencia, un personaje ve un objeto en un lugar y después se ausenta mientras otro lo cambia. Al preguntar dónde cree el primer personaje que está el objeto, el error más frecuente consistió en responder con la ubicación real en vez de considerar lo que había visto.
Ese patrón representó 60% de los fallos en las pruebas de falsa creencia analizadas, no 60% de todas las respuestas. Las descripciones correctas redujeron la brecha entre las condiciones visuales y textuales, pero las descripciones generadas por analizadores automáticos no resolvieron el problema.
WorldMind mide la perspectiva espacial
Una investigación separada propuso WorldMind para preguntas espaciales que requieren considerar cambios de perspectiva. El sistema combina un modelo de visión y lenguaje con representaciones internas de un modelo de mundo para simular transformaciones de la escena.
En VSI-Bench, la versión de WorldMind entrenada con aprendizaje supervisado y por refuerzo obtuvo un puntaje promedio de 71.1, frente a 57.4 de Qwen3-VL-8B-Instruct. Esta es una evaluación de razonamiento espacial, no una medición del éxito de RAGu al controlar el brazo.
Los tres trabajos abordan etapas distintas: interpretar una escena, razonar sobre posiciones y orientar una acción. En RAGu, las cifras corresponden a un conjunto concreto de cinco tareas físicas y 50 intentos por método. En el humanoide simulado, la guía pasó de 33.6% a 47.2%, una medición de otra plataforma que no sustituye la primera.
Cuando faltan demostraciones parecidas, la cámara oculta objetos o el modelo no tiene la acción en su repertorio, recuperar una trayectoria no basta. Los resultados describen esas pruebas, no una tasa general para cualquier robot o entorno doméstico.
