✨︎ Resumen (TL;DR):
- TrueStandard comparó las referencias académicas de ambos modelos sin acceso a internet.
- Con los ajustes predeterminados, Hydrogen no generó DOI inexistentes entre 99 identificadores; 3.8 Flash generó 8 de 133, cerca de 6 %.
- Hydrogen entregó al menos un DOI real en 38 de 45 solicitudes sobre afirmaciones respaldadas por investigaciones, frente a 45 de 45 de Flash.
TrueStandard encontró que Gemini 4 Hydrogen inventó menos identificadores DOI que Gemini 3.8 Flash en una prueba limitada de referencias científicas, ejecutada sin acceso a internet. Con la configuración predeterminada, Hydrogen no generó ningún DOI inexistente entre 99, mientras Flash generó ocho de 133. Bajo ese mismo ajuste, Hydrogen entregó al menos un DOI real en 38 de 45 solicitudes sobre afirmaciones respaldadas por investigaciones, frente a 45 de 45 de Flash.
Es una muestra pequeña y solo mide una clase de error, no todos los fallos que pueden cometer los modelos.
La comparación ocurrió el 13 de noviembre, un día después de que Google presentara Hydrogen. TrueStandard, una empresa que ofrece herramientas para comprobar citas y afirmaciones, pidió a ambos modelos fuentes académicas para las mismas afirmaciones y revisó los identificadores que entregaron.
Un DOI es un identificador digital que permite localizar un artículo u otra publicación. Para el ensayo, TrueStandard llamó inventado a cualquier identificador que no apareciera registrado.
La empresa también contabilizó los identificadores existentes que los modelos asociaron con el artículo equivocado. Es un error distinto que puede llevar al lector a una fuente que no corresponde a la citada.
La prueba separó dos errores de las citas
La prueba utilizó 30 afirmaciones: 15 tenían investigaciones reales detrás y otras 15 eran afirmaciones plausibles redactadas por los evaluadores. Para cada una, los modelos debían ofrecer hasta tres fuentes revisadas por pares. Si la afirmación era inventada, la respuesta esperada era rechazar la solicitud de citas.
TrueStandard ejecutó cada conjunto tres veces con razonamiento bajo y otras tres con el ajuste predeterminado, a través de la API de Google y sin navegación web. Hydrogen usa por defecto el nivel alto de razonamiento; 3.8 Flash, el medio.
Los evaluadores consultaron Crossref y DataCite. También revisaron en doi.org los identificadores que no devolvieron resultados.
Con razonamiento bajo, Hydrogen inventó 1 de 113 DOI, equivalente a 0.9 %. Flash inventó 31 de 141, o 22 %. Estas proporciones cuentan los identificadores que aparecieron en las respuestas, no el porcentaje de preguntas contestadas correctamente.
En la configuración predeterminada, Hydrogen no inventó ninguno de sus 99 DOI. Flash inventó 8 de 133, aproximadamente 6 %. Al sumar los DOI reales asociados con el artículo equivocado, la firma contó 16 referencias incorrectas de Flash en ese mismo grupo y ninguna de Hydrogen.
El cero de Hydrogen tiene una condición
Con el ajuste predeterminado, Hydrogen proporcionó al menos un DOI real en 38 de las 45 solicitudes repetidas sobre afirmaciones respaldadas por investigaciones. Flash lo hizo en las 45. Según TrueStandard, la cifra de cero se explica en parte porque Hydrogen rechazó algunas solicitudes para las que sí existían estudios reales.
Por eso, que la muestra no contenga DOI inventados no significa que Hydrogen nunca los fabrique ni que siempre encuentre la fuente correcta. Tampoco prueba, por sí solo, que el artículo citado respalde la afirmación para la que el modelo lo utilizó.
Los niveles con el mismo nombre tampoco implican un esfuerzo equivalente. En el nivel bajo, Hydrogen utilizó razonamiento antes de todas sus respuestas; Flash lo hizo en aproximadamente la mitad.
TrueStandard advierte que solo probó los modelos durante un día y que una muestra de 30 afirmaciones no permite establecer una clasificación general.
La prueba no valida toda la promesa de Google
Google afirmó en el anuncio que Hydrogen reduce en más de cinco veces las afirmaciones inventadas frente a 3.8 Flash. La prueba de TrueStandard examinó un error más acotado: los identificadores de citas. Por eso, sus datos no confirman ni refutan esa cifra general.
La ficha de Google DeepMind también reconoce que Hydrogen puede generar información falsa.
El despliegue también tuvo un costo distinto
Google comenzó el 12 de noviembre el despliegue de Hydrogen en productos como Gemini, Search y sus herramientas para desarrolladores. En la aplicación Gemini, las cuentas gratuitas pueden recibir respuestas de Hydrogen cuando la selección automática lo considera adecuado.
TrueStandard calculó que las 90 respuestas de cada modelo con sus ajustes predeterminados costaron 1.75 dólares con Hydrogen y 0.54 dólares con Flash, de acuerdo con las tarifas vigentes durante la prueba.
Esos importes corresponden a las solicitudes del ensayo, no a un precio fijo por consulta. El consumo de tokens depende del trabajo y del razonamiento empleado.
Para usar estos modelos como apoyo de investigación, hay que comprobar que el DOI exista, que corresponda al artículo indicado y que ese artículo respalde la afirmación original. Un identificador real resuelve solo una parte del proceso.
En esta muestra, Hydrogen tuvo menos DOI inventados, pero entregó menos respuestas sobre investigaciones reales y costó más en la prueba.
