✨︎ Resumen (TL;DR):
- NVIDIA lanzó Nemotron 3.5 Transcribe para procesar grabaciones mediante instrucciones.
- Reconoce voz en 40 idiomas, traduce entre el inglés y otros 31, y atribuye intervenciones a hasta 8 hablantes.
- Granary v2 permite adaptar sistemas de voz, pero el modelo puede omitir palabras o asignarlas al hablante equivocado.
Nemotron 3.5 Transcribe es un modelo de inteligencia artificial con pesos abiertos que convierte grabaciones en texto y acepta instrucciones para traducir el audio o atribuir intervenciones a distintos hablantes. NVIDIA lo lanzó para desarrolladores que procesan conversaciones, reuniones y otras grabaciones; la herramienta no trabaja con transmisiones en vivo.
Una grabación, varias tareas
El modelo reconoce voz en 40 idiomas y traduce entre el inglés y otros 31 idiomas. También puede atribuir intervenciones a hasta 8 hablantes, y esa función está disponible en 13 idiomas. La cobertura cambia según la tarea, así que no todas las capacidades funcionan en los 40 idiomas.
El desarrollador puede pedir una transcripción con etiquetas de hablantes, una traducción al inglés o una respuesta sobre las decisiones tomadas en una reunión. También puede proporcionar vocabulario para orientar el resultado. La ficha del modelo advierte que el contexto puede ayudar, pero también inducir términos incorrectos si no corresponde con el audio.
Nemotron 3.5 Transcribe admite grabaciones de hasta 1 hora. NVIDIA lo distribuye con pesos abiertos, lo que permite a los desarrolladores adaptarlo y elegir dónde procesar el audio, sujeto a su licencia. La empresa ofrece varias versiones de precisión para equipos compatibles, incluidos sistemas DGX Spark y GPU de centros de datos.
Granary v2 prepara datos para adaptar la voz
Junto con el modelo, NVIDIA presentó Granary v2. Granary v2 es un conjunto de datos y herramientas que ayuda a adaptar sistemas de voz a vocabularios y necesidades específicas.
El anuncio de NVIDIA describe un catálogo público de 463,062 horas en 48 idiomas y 16 conjuntos de origen. SiliconANGLE reporta, en cambio, 843,579 horas y 19 conjuntos. Las fuentes consultadas no aclaran la diferencia entre ambas cifras. NVIDIA precisa que el tamaño del catálogo no equivale a la mezcla completa que utilizó para entrenar el modelo.
Los datos incluyen variantes de transcripción que conservan o eliminan vacilaciones, además de etiquetas y traducciones. Los desarrolladores deben obtener el audio de origen por separado y respetar la licencia de cada conjunto, según NVIDIA.
La adaptación médica redujo el error
En una prueba de adaptación al lenguaje médico, NVIDIA reportó que la tasa de error de palabras bajó de 22.44% a 12.17% en grabaciones de hablantes reservados para la evaluación. Frente a su mejor instrucción inicial, esa caída equivale a una reducción relativa de 45.8%. El resultado corresponde a esa prueba y no garantiza la misma tasa para otras grabaciones o idiomas.
El modelo también puede omitir o inventar palabras, o asignar una frase al hablante equivocado. Por eso, cualquier transcripción o respuesta que se use para tomar una decisión debe contrastarse con la grabación, sobre todo cuando hay ruido, nombres poco comunes o voces superpuestas.
El alcance queda definido: Nemotron 3.5 Transcribe procesa audio grabado, no transmisiones en vivo. La adaptación puede ajustarlo a vocabularios específicos, pero cualquier resultado usado para decidir debe compararse con la grabación original.
