✨︎ Resumen (TL;DR):
- Dwarkesh Patel y Jerry Han cruzaron siete recetas de modelo con siete corpus públicos, uno por cada año de 2019 a 2025.
- A 1e19 FLOPs, los datos entregaron 12.0x de eficiencia de cómputo acumulada; las recetas de modelo, 3.7x.
- La brecha no demuestra que la arquitectura haya sido secundaria: según los autores, buena parte de su aporte consistió en hacer utilizable más cómputo.
Dwarkesh Patel y Jerry Han publicaron el 8 de septiembre de 2026 un experimento que descompone seis años de progreso del preentrenamiento de modelos de lenguaje entre 2019 y 2025. Entrenaron desde cero siete recetas de arquitectura y las cruzaron con siete corpus públicos para medir qué eje mejoró más la eficiencia de cómputo. A 1e19 FLOPs, los datos alcanzaron 12.0x de ganancia acumulada frente a 3.7x de los modelos, pero los autores advierten que esa diferencia no significa que el trabajo de arquitectura haya sido poco relevante.
La cuadrícula que separa datos y modelos
La cuadrícula experimental es un diseño de medición que cruza una receta de modelo con un corpus de datos para medir sus efectos por separado. Para cada año entre 2019 y 2025, el estudio tomó una receta publicada de forma abierta. Las siete recetas, de GPT-2 a OLMo-2, codificaban los ajustes algorítmicos conocidos en ese momento: arquitectura, optimizador, inicializaciones, calendario de tasa de aprendizaje e hiperparámetros.
En paralelo, Patel y Han usaron un corpus público nuevo por cada año, desde OpenWebText hasta UltraFineWeb. Esos conjuntos reflejaban rastreos más amplios y técnicas distintas de curación, extracción y filtrado. El cruce produjo combinaciones que entrenaron desde cero con cinco presupuestos: 1e17, 3.16e17, 1e18, 3.16e18 y 1e19 FLOPs.
El salto entre los extremos se ve en los datos. OpenWebText, el corpus de 2019 con el que se entrenó GPT-2 en su mayor parte, reunía páginas enlazadas desde Reddit con suficientes votos positivos, después de deduplicarlas y filtrarlas. Su tamaño era de unos 9,000 millones de tokens.
UltraFineWeb, el corpus de 2025, parte de rastreos de todo internet y aplica una curación más elaborada. Entre sus pasos está entrenar un clasificador que predice qué datos van a mejorar empíricamente el rendimiento del modelo.
Medir capacidades cuando el corpus cambia
Como los conjuntos de entrenamiento cambiaban, comparar la pérdida de entropía cruzada contra un mismo conjunto no servía. En su lugar, Patel y Han midieron la capacidad final con OLMES, una evaluación que agrega 10 pruebas relativamente fáciles, casi todas de opción múltiple.
Los autores reconocen que esa decisión introduce ruido. Para acotarlo, corrieron al menos tres semillas por punto en las curvas de escalado y una sola semilla en la cuadrícula completa de combinaciones a 3.16e18 FLOPs. El tokenizador y la longitud de contexto se mantuvieron fijos en todas las corridas.
Hay otro resultado que ordena la lectura: los dos ejes casi no interactuaron. Una regresión lineal sobre la cuadrícula a 3.16e18 FLOPs explicó 88% de la varianza del puntaje de OLMES usando solo los efectos aditivos del modelo y los datos. Una mejora de arquitectura no exigió un corpus específico, ni una mejora de datos exigió una receta particular.
Eficiencia de cómputo por eje, medida a 1e19 FLOPs
| Eje del experimento | Multiplicador acumulado 2019-2025 | Ganancia interanual |
|---|---|---|
| Datos, de OpenWebText a UltraFineWeb | 12.0x | 1.51x (1.45 a 1.57) |
| Modelo, de GPT-2 a OLMo-2 | 3.7x | 1.24x (1.19 a 1.29) |
| Los dos ejes juntos | No reportado por separado | 1.57x (1.49 a 1.65) |
A 1e19 FLOPs, el cociente entre los datos y los modelos fue de 3.24 a 1 a favor del eje de datos. La cifra parece contundente, pero no responde por sí sola cuánto valor aportó la arquitectura.
El 12x no mide todo el valor del modelo
La lectura inmediata sería que casi todo el progreso del preentrenamiento fue ingeniería de datos. Patel y Han cuestionan esa conclusión porque el experimento mide principalmente eficiencia de cómputo. Su argumento es que las mejoras de modelo hicieron utilizable una cantidad mayor de cómputo, aunque no siempre aparezcan como una ventaja grande por unidad de cálculo en estas escalas.
Cuando aumentan los parámetros, la longitud de contexto, la duración de la corrida y el tamaño del clúster, aparecen fallas concretas. Los gradientes explotan o se desvanecen, la memoria y el ancho de banda se agotan, y el entrenamiento puede volverse inviable por su lentitud.
En ese trabajo caben las mezclas de expertos o MoE, las variantes de atención dispersa, las mejoras de estabilidad, como el orden de las normalizaciones y las inicializaciones, además de optimizaciones de sistema o kernel como FlashAttention.
Los autores lo comparan con un velero y un buque portacontenedores. El segundo no navega más rápido, pero carga miles de toneladas y no se vuelca con mar picada. Con los veleros pequeños de 2019 había que cuidar cada pieza de carga; un buque de mayor capacidad reduce esa restricción.
El ritmo anual quedó debajo de otras estimaciones
Año contra año, el experimento arroja 1.24x de eficiencia adicional para el eje del modelo, con un intervalo de 1.19 a 1.29, y 1.51x para el eje de datos, con un intervalo de 1.45 a 1.57. Tomados juntos, los dos ejes dan 1.57x anual, con un intervalo de 1.49 a 1.65.
El resultado queda por debajo de la estimación media de 3x anual de Anson Ho y coautores, una referencia habitual en la literatura sobre progreso algorítmico. Los autores enumeran varias razones:
- Algunas ganancias dependen de la escala o importan sobre todo con contextos largos. Las corridas del estudio fueron demasiado pequeñas para capturarlas.
- Las optimizaciones de inferencia, como GQA de Llama-3, no aparecen aquí como multiplicadores de cómputo. Las mejoras del tokenizador quedaron fuera.
- Los multiplicadores dependen de la receta y el corpus elegidos como representativos de cada año. Ser representativo no equivale a ser el mejor.
- OLMES reúne 10 tareas relativamente sencillas. Las pruebas de código o de resolución de problemas producirían otros números y probablemente premiarían otras formas de ingeniería de datos.
La dirección del hallazgo coincide con lo que Epoch AI venía señalando. En febrero de 2026, el investigador Anson Ho escribió que una parte importante del progreso de software medido podría deberse a mejoras en la calidad de los datos, no al descubrimiento continuo de algoritmos nuevos. Su estimación de 3x anual en preentrenamiento tenía un intervalo de confianza del 95%, entre 1.5x y 64x.
Dos límites: escala y existencias de datos
El primer límite es el tamaño de los modelos. Los modelos entrenados son pequeños y se benefician mucho de la calidad de los datos porque tienen poca capacidad. Un modelo grande tiene capacidad de sobra y quizá convenga cargarlo con todo, aunque el material llegue mezclado.
Los autores señalan que el filtrado agresivo obliga a repetir el corpus decenas de veces. Esa repetición produce empíricamente un resultado peor que usar un conjunto más grande con una calidad promedio menor. El efecto se agrava porque los modelos de frontera se sobreentrenan hasta 100 veces respecto al punto óptimo de Chinchilla, con el objetivo de reducir el cómputo de inferencia en RL y durante el despliegue.
El segundo límite es la disponibilidad. Casi todos los corpus revisados son curaciones del mismo Common Crawl, no fuentes nuevas, así que consumen un acervo finito. Los autores escriben que, si las ganancias de los datos sintéticos resultan limitadas, el motor principal del progreso en preentrenamiento se frenará porque no estamos generando más internet.
Patel y Han aclaran que no tienen una razón activa para pensar que eso ya esté ocurriendo y que no investigaron los datos sintéticos. También retoman una observación de Ryan Greenblatt: muchas mejoras históricas de los corpus son del tipo que un investigador automatizado podría probar empíricamente mediante ablaciones y mediciones. Si la investigación en IA se automatiza, el eje de los datos podría acelerarse.
La cuenta pendiente para los laboratorios
Los autores también acotan la pregunta. Medir si el preentrenamiento se acelera o se frena por sí solo no es lo más importante para el avance general de la IA, porque buena parte de las ganancias de los dos últimos años vino del aprendizaje por refuerzo.
La aritmética cambia para la economía de los laboratorios. Si la ingeniería de datos es el motor del preentrenamiento y el texto público disponible es finito, lo que una empresa gasta en corredores de datos y productores de entornos pesa tanto como lo que gasta en GPU. Patel y Han dejan esa comparación, junto con repetir el experimento a mayor escala, como una línea pendiente de investigación.
