💡 Resumen (TL;DR):
- Nvidia liberó Dynamo 1.0, un software open source para gestionar hardware en centros de datos.
- El sistema aumenta la velocidad de inferencia hasta 7x en las arquitecturas Blackwell.
- Gigantes tecnológicos como AWS, Google Cloud y Azure ya adoptaron la tecnología.
Durante su conferencia anual GTC en San José, Nvidia lanzó Dynamo 1.0, un software de código abierto diseñado para orquestar la memoria y procesamiento en clústeres de centros de datos. La plataforma busca resolver el reto de operar modelos de lenguaje masivos y agentes de IA a gran escala comercial.
Para optimizar el uso de hardware, Dynamo 1.0 es un sistema distribuido que divide las cargas de inferencia entre múltiples tarjetas gráficas. El software separa las fases de prellenado y decodificación, y dirige directamente las peticiones a las GPUs que ya tienen datos relevantes almacenados en caché.
“La inferencia es el motor de la inteligencia, impulsando cada consulta, cada agente y cada aplicación”, afirmó Jensen Huang, fundador y CEO de Nvidia. “Con NVIDIA Dynamo, hemos creado el primer ‘sistema operativo’ para fábricas de IA”.
Multiplicador de rendimiento y adopción global
Las primeras pruebas de Nvidia indican que el framework dispara el rendimiento en sus GPUs Blackwell hasta 7x, lo que reduce drásticamente el costo por token para los operadores de servidores. Entre sus características principales destacan:
- Soporte nativo para operar modelos de generación de video.
- ModelExpress: Una función que acelera el arranque mediante streaming de los pesos del modelo por interconexiones de alto ancho de banda, eliminando las descargas repetitivas en cada solicitud.
- Integración de módulos independientes como NIXL (para transferencia de datos directa entre tarjetas) y KVBM (para administración eficiente de memoria).
El desarrollo tiene compatibilidad nativa con frameworks open source populares como vLLM, SGLang, LangChain y la biblioteca de casa, TensorRT-LLM.
Actualmente, la plataforma ya fue adoptada por los principales proveedores de cloud computing: Amazon Web Services (AWS), Microsoft Azure, Google Cloud y Oracle Cloud Infrastructure.
A nivel corporativo, firmas como Cursor, Perplexity, ByteDance, PayPal y Pinterest comenzaron a desplegar la tecnología de inmediato. Vipul Ved Prakash, CEO de Together AI, confirmó el impacto comercial señalando que el software ayuda a entregar “inferencia acelerada y rentable para cargas de trabajo de producción a gran escala”.
