✨︎ Resumen (TL;DR):
- Hallazgo: Dos prepublicaciones examinan qué ocurre cuando redes neuronales pasan de memorizar a generalizar.
- Dato clave: La compresión más pronunciada apareció unos 900 pasos después del inicio de la generalización, definida con 95% de aciertos en la prueba.
- Límite: Los experimentos usaron redes pequeñas y no prueban que las mismas señales aparezcan en grandes modelos de lenguaje o problemas del mundo real.
Dos equipos estudiaron el grokking, el salto por el que una red neuronal pasa de memorizar ejemplos de entrenamiento a resolver datos que no ha visto. Shlok Mehendale y Paras Chopra observaron que la mayor caída del rango efectivo de los pesos apareció después de que comenzara la generalización. Min Chen encabezó el segundo equipo, que propuso describir la transición con herramientas de la física. Ambos usaron redes pequeñas y tareas de aritmética modular, por lo que sus resultados permiten observar la dinámica de entrenamiento, pero no prueban que las mismas señales aparezcan en grandes modelos de lenguaje.
Grokking es un fenómeno de aprendizaje tardío que describe el paso de acertar ejemplos conocidos a resolver datos nuevos, después de un periodo en el que la red todavía falla fuera del entrenamiento.
La compresión llega después del salto
Mehendale y Chopra examinaron redes que entrenaron con tareas de aritmética modular. Sus experimentos incluyeron una red multicapa y un transformer de una capa.
En los transformers estudiados, la memorización ocurrió dentro de los primeros 250 pasos de entrenamiento. Los autores definieron el inicio de la generalización como el momento en que la red alcanzó 95% de aciertos en la prueba. Ese punto llegó entre los pasos 6,500 y 21,000.
La caída más pronunciada del rango efectivo de una matriz de pesos apareció unos 900 pasos después de ese inicio. En este análisis, el rango efectivo mide cuántas direcciones relevantes participan en la estructura de la matriz.
La secuencia importa. La compresión apareció después de comenzar la generalización, así que los resultados sugieren que la acompaña en lugar de desencadenarla por sí sola.
Para probar esa lectura, los investigadores impusieron restricciones de rango en distintas partes del transformer y las compararon con un control.
- Limitar el rango de los pesos de entrada de una capa retrasó el aprendizaje tardío.
- Al limitar la representación de entrada, 15 de 20 ejecuciones no llegaron a generalizar de ese modo.
El resultado no descarta que otras formas de compresión influyan en otros modelos. Sí cuestiona que forzar esta restricción sea una solución general para acelerar el proceso.
Una transición descrita con física estadística
El segundo equipo, encabezado por Min Chen, estudió la suma modular con una red de dos capas. Su marco propone una analogía con las transiciones de fase que analiza la física estadística.
En esa descripción, el tamaño de los pesos de la red funciona como indicador de la transición. El avance del entrenamiento y la penalización de pesos actúan como variables de control.
Para construir el modelo, los autores calcularon cómo se relacionan las neuronas a partir de la función de pérdida y las ordenaron en una geometría efectiva. Después agruparon neuronas para analizar el sistema a distintas escalas, con un procedimiento inspirado en el grupo de renormalización.
El método produjo exponentes que coincidieron con estimaciones directas dentro de un margen de 1% a 10%, según el estudio.
Qué queda por comprobar
Los dos equipos enviaron sus trabajos a arXiv el 26 de octubre de 2026 como prepublicaciones. Sus conclusiones todavía requieren evaluación y reproducción independientes.
Las tareas simplificadas permiten observar con detalle la dinámica de entrenamiento, pero no demuestran que las mismas señales o la misma descripción física se apliquen a grandes modelos de lenguaje o a problemas del mundo real.
Los resultados de estas redes pequeñas colocan la caída del rango efectivo después del inicio de la generalización y muestran que imponer restricciones de rango puede retrasar o impedir ese aprendizaje tardío en parte de las ejecuciones. La pregunta pendiente es si ese patrón se mantiene cuando el modelo y la tarea dejan de ser controlados.
