✨︎ Resumen (TL;DR):
- Simon Willison ejecutó Qwen3.8-27B en una laptop y acertó tres de cuatro juegos representados por los pesos de pequeñas redes neuronales.
- El modelo tardó 46 minutos y 12 segundos en Pac-Man y generó 43,506 tokens de razonamiento.
- Qwen confundió Freeway con un juego parecido a Pac-Man; el resultado no demuestra que pueda editar pesos para mejorar matemáticas.
Simon Willison ejecutó Qwen3.8-27B en su laptop para poner a prueba si un modelo local podía inferir qué juego representaban los pesos de pequeñas redes neuronales. El sistema identificó correctamente Pac-Man, Pong y Breakout de cuatro casos basados en una investigación del MIT, pero confundió Freeway con un juego parecido a Pac-Man.
El desarrollador usó los archivos de esa investigación y pidió al modelo responder sin herramientas ni ejecución de código. Las redes habían sido entrenadas para versiones simplificadas de Pac-Man, Pong, Breakout y Freeway.
Según el relato que Willison publicó el 3 de noviembre, el cuarto intento fue el único error: Qwen describió la red de Freeway como un juego parecido a Pac-Man.
Qué significaba leer los pesos
Los pesos de una red neuronal son un conjunto de valores numéricos que una red usa para procesar información y tomar decisiones.
En el experimento original, los investigadores entregaron esos números como texto, junto con una descripción de la cuadrícula y las acciones disponibles. El modelo debía inferir el juego sin recibir la lista de opciones.
Las cuatro redes tenían la misma arquitectura y 17,253 pesos cada una. Willison usó los archivos publicados por los investigadores y comprobó que las instrucciones eran iguales salvo por los pesos. Así repitió la tarea con otro modelo sobre las mismas redes del equipo del MIT.
Una prueba local con tiempos muy distintos
La versión cuantizada de Qwen que usó Willison ocupa unos 17 GB. Los tiempos registrados en su computadora fueron:
- Pac-Man: 46 minutos y 12 segundos, con 43,506 tokens de razonamiento.
- Pong: 1 hora, 4 minutos y 54 segundos.
- Breakout: 52 minutos y 25 segundos.
Un token es una unidad de texto que procesa el modelo. La cifra registrada en Pac-Man corresponde a los tokens de razonamiento generados en esa respuesta.
Estos tiempos muestran el costo de esta ejecución concreta en la computadora de Willison, no una medida universal de velocidad. El resultado tampoco establece cómo funcionaría la lectura con redes distintas o más grandes.
El MIT separó la lectura de la edición de pesos
En la investigación publicada el 2 de noviembre, Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, de MIT CSAIL, informaron que GPT-6 Astra identificó los cuatro juegos en esa misma tarea. Los autores presentaron sus resultados en un artículo en su blog y compartieron los registros de los experimentos.
El mismo trabajo describió una prueba separada con Qwen3.5-0.8B, otro modelo de lenguaje. En esa prueba, una edición de sus pesos elevó el resultado en la evaluación matemática MATH-500 de 7.9% a 48.1%. Los investigadores relacionaron la mejora con una reducción de los bucles que impedían al modelo terminar respuestas.
Para ese procedimiento, Astra tuvo acceso a una sesión de Python y hasta 50 tandas de pruebas con problemas de práctica. Los autores prohibieron el entrenamiento con gradientes.
Matthew Honnibal cuestionó que se presentaran juntas la lectura de números sin herramientas y la modificación de un modelo mediante código y pruebas, porque son procedimientos diferentes.
La prueba de Willison amplía el resultado de lectura de pesos a un modelo ejecutado localmente, pero se limita a las cuatro redes publicadas: Qwen3.8-27B acertó tres juegos y falló uno.
No demuestra que pueda realizar la edición matemática del experimento separado con Qwen3.5-0.8B. Tampoco establece cómo funcionaría con redes distintas o más grandes, porque esa condición no formó parte de la prueba.
