✨︎ Resumen (TL;DR):
- Nick Cammarata, de Goodfire, propone estudiar directamente los componentes internos de las redes de IA.
- Una auditoría preliminar en Qwen3-32B atribuye una función principal a cerca del 90% de los polos examinados.
- En marzo de 2025, los gráficos de atribución de Anthropic ofrecieron explicaciones satisfactorias para alrededor de una cuarta parte de los prompts probados con Claude 3.5 Haiku.
Nick Cammarata, investigador de Goodfire, sostiene en un ensayo fechado el 15 de octubre de 2026 que muchas neuronas de la IA moderna pueden entenderse con mejores herramientas. Su hipótesis busca estudiar directamente las redes: cómo sus componentes internos producen respuestas y qué efecto tiene modificar su actividad.
La interpretabilidad mecanística es un método de análisis que busca explicar cómo los componentes internos de un modelo producen sus respuestas y comprobar qué ocurre al modificar su actividad.
Una neurona puede tener una función reconocible
El ejemplo revisado por Cammarata proviene de InceptionV1. Una neurona asociada con gatos y automóviles parecería mezclar conceptos sin relación, pero su respuesta, según la revisión, estaría ligada a la forma de V que ambos comparten. La combinación tendría así una explicación común, en lugar de ser una asociación arbitraria.
El 90% de Qwen3-32B es un dato preliminar
En Qwen3-32B, Cammarata estima que cerca del 90% de los polos de neurona examinados tiene una función principal. El cálculo cuenta por separado la actividad positiva y la negativa. Además, depende de los umbrales elegidos, así que corresponde a una auditoría preliminar, no a una medida total de cuánto se entiende la IA.
El investigador también afirma haber observado patrones similares en modelos de hasta billones de parámetros. Los detalles de esa afirmación quedan pendientes de un trabajo complementario.
Dos porcentajes que no miden lo mismo
En marzo de 2025, Anthropic reportó que sus gráficos de atribución ofrecían explicaciones satisfactorias para alrededor de una cuarta parte de los prompts probados con Claude 3.5 Haiku. Incluso en esos casos, las explicaciones capturaban solo una fracción de los mecanismos del modelo.
El 90% de Cammarata y la cuarta parte de Anthropic responden a preguntas distintas. El primer cálculo cuenta componentes reconocibles y separa polos de actividad; el segundo evalúa cuánto ayuda una herramienta a explicar consultas. Cambian el modelo, el método y el denominador. Por eso, ninguna cifra indica qué porcentaje de una IA completa ya está comprendido.
Superposición y función neuronal son preguntas distintas
En “Toy Models of Superposition”, un trabajo de 2022 de investigadores de Anthropic y Harvard mostró, con redes pequeñas y datos sintéticos, que podían representarse más características que dimensiones. Sus autores llamaron superposición a esa compresión y advirtieron que no estaba claro cuánto podía generalizarse a redes reales.
Al poner ese resultado junto al ejemplo de gatos y automóviles, hay que separar dos preguntas: qué demostró matemáticamente una red de juguete y si una neurona concreta mezcla conceptos sin una relación explicable. La revisión de Cammarata cambia la lectura de ese caso, pero no basta para refutar el resultado matemático de las redes pequeñas.
La explicación necesita una prueba sobre la respuesta
Reconocer la función de una neurona y explicar una respuesta completa requieren pruebas diferentes. Para auditar comportamientos, las explicaciones deben conectarse con pruebas sobre las respuestas.
Anthropic usó intervenciones sobre el modelo original para comprobar si alterar componentes producía los efectos previstos. Ese tipo de prueba conecta una interpretación interna con el comportamiento observado.
La cifra del 90% queda así como una señal preliminar sobre funciones neuronales, no como un porcentaje de comprensión total. El trabajo complementario y las pruebas de intervención son necesarios para conectar esa lectura con el comportamiento de redes reales.
