✨︎ Resumen (TL;DR):
- Nvidia presenta Vera como una arquitectura de CPU para centros de datos enfocada en acelerar las tareas que los agentes ejecutan entre llamadas al modelo en GPU.
- El diseño reúne 88 núcleos Olympus, 176 hilos de hardware, memoria LPDDR5X con hasta 1.2 TB/s de ancho de banda y hasta 3.4 TB/s de interconexión interna.
- Nvidia habla de hasta el doble frente a procesadores x86 líderes, mientras su artículo técnico reporta hasta 1.8 veces en esas cargas. Las cifras provienen de materiales distintos.
Nvidia sostiene que Vera vuelve a priorizar el rendimiento por hilo en los procesadores para centros de datos, porque los agentes de IA pueden ejecutar código, consultar datos o usar herramientas antes de regresar al modelo que corre en la GPU. Cada espera en esa cadena alarga el tiempo de respuesta y retrasa el siguiente paso del agente.
Vera es una arquitectura de CPU para centros de datos que prioriza el rendimiento por hilo para acortar las tareas que los agentes ejecutan entre llamadas al modelo.
El equipo de Vera expuso esta postura en una entrevista publicada por Wccftech el 18 de octubre. Su argumento se concentra en la CPU: acelerar las tareas secuenciales permite que el agente vuelva antes al modelo que corre en la GPU.
Un agente puede correr código, consultar datos o usar herramientas antes de continuar con el siguiente paso. Esas operaciones ocurren alrededor de la inferencia, es decir, la ejecución del modelo, y cada espera de esa cadena afecta el tiempo de respuesta.
Más núcleos y pasos más rápidos resuelven problemas distintos
Nvidia distingue dos necesidades en su documentación técnica. Más núcleos permiten atender más flujos a la vez; núcleos más rápidos ayudan a que cada flujo avance.
La empresa propone medir el rendimiento por hilo con todo el procesador bajo carga, cuando los agentes comparten memoria y otros recursos. Esa condición busca mostrar cómo avanza cada flujo cuando el hardware atiende varias tareas al mismo tiempo.
Cuando la CPU espera, la GPU puede reconstruir contexto
En un centro de datos saturado, la GPU puede atender otras solicitudes mientras espera a la CPU. Si esa pausa se alarga, aumenta la presión para desalojar la caché KV, que conserva cálculos del contexto del modelo.
Retomar al agente puede exigir procesar esos cálculos de nuevo. Nvidia señala que la GPU dedica entonces parte de su capacidad a reconstruir el contexto.
Vera concentra 88 núcleos en un bloque monolítico
El diseño reúne:
- 88 núcleos Olympus y 176 hilos de hardware.
- Memoria LPDDR5X con hasta 1.2 TB/s de ancho de banda.
- Interconexión interna de hasta 3.4 TB/s de ancho de banda de bisección.
Los núcleos comparten un bloque de silicio monolítico. Nvidia describe el ancho de banda de bisección como una medida del tráfico que puede cruzar entre sus dos mitades.
Nvidia busca reducir los saltos entre piezas de silicio al intercambiar datos entre núcleos. El objetivo declarado es sostener el avance de cada agente cuando hay muchas tareas activas.
Dos cifras de rendimiento, dos materiales distintos
En la entrevista, el equipo habla de un rendimiento de hasta el doble frente a procesadores x86 líderes en tareas de agentes. El artículo técnico de Nvidia sobre Olympus presenta hasta 1.8 veces el rendimiento en esas cargas.
Los dos valores aparecen en materiales distintos del fabricante. Compararlos requiere revisar las configuraciones y la metodología de cada prueba.
Los chiplets quedan para futuros diseños
Nvidia mantiene abierta la posibilidad de usar chiplets, pequeños bloques de silicio separados, en futuros diseños. En el caso de Vera, el equipo defiende concentrar el cómputo y acelerar los pasos de CPU que determinan cuándo puede continuar cada agente.
En el diseño descrito, Nvidia concentra el cómputo para reducir las esperas entre llamadas al modelo. La posibilidad de usar chiplets queda para futuros diseños, mientras Vera pone el foco en que cada agente avance antes de volver al modelo que corre en la GPU.
