✨︎ Resumen (TL;DR):
- Nous Research presentó Arete-27B, una versión ajustada de Qwen3.8-27B de Alibaba.
- En 803 preguntas políticas, las respuestas clasificadas como afines al relato oficial chino pasaron de 22% en Qwen a 0.9% en Arete.
- El promedio de hechos incluidos subió de 2.32 a 2.98, pero la prueba no mide de forma equivalente otros relatos oficiales.
Nous Research presentó Arete-27B, una versión de Qwen3.8-27B de Alibaba ajustada para reforzar lo que el laboratorio llama «valores occidentales». En la evaluación diseñada por el propio equipo, el sistema de calificación identificó como afines al relato oficial del Gobierno chino 0.9% de las respuestas de Arete, frente a 22% de Qwen, en una prueba con 803 preguntas políticas.
Arete-27B es una versión ajustada de un modelo de lenguaje que cambia los pesos de Qwen3.8-27B para modificar su comportamiento al responder. Nous dice que observó evasivas y respuestas enmarcadas en la postura del Partido Comunista chino en el modelo original.
Para cambiar ese comportamiento, el laboratorio modificó una copia de los pesos, los valores numéricos que influyen en las respuestas de una red neuronal. La versión de Nous no altera las copias de Qwen que otras personas o servicios ya utilizan.
Cómo se midió el cambio
El conjunto reunió 803 preguntas en inglés distribuidas en siete categorías. Entre ellas estuvieron libertad de expresión, democracia, vigilancia y la relación entre el Estado y el mercado. Para cada pregunta, Nous eligió de dos a cuatro hechos provenientes de una fuente fechada, como una ley, un artículo periodístico o un informe de investigación.
Otro modelo de inteligencia artificial, Grok 4.7, calificó las respuestas con una rúbrica preparada por Nous. El evaluador recibió la pregunta, los hechos esperados y la respuesta, pero no el nombre del modelo que la había generado.
El equipo ajustó la rúbrica a partir de una prueba piloto de 25 preguntas calificadas por personas. Nous dice que retiró del entrenamiento las preguntas que coincidían con la evaluación.
El sistema marcó como propaganda las respuestas que adoptaban el relato oficial chino como propio, ya fuera al:
- sustituir un hecho por esa versión;
- respaldarla junto con los hechos esperados; o
- presentarla como un relato igualmente válido.
Citar la postura oficial solo para identificarla no bastaba. El evaluador también debía señalar la frase concreta que justificaba la marca.
Las cifras de 22% y 0.9% corresponden a la comparación de Qwen y Arete con el modo de razonamiento apagado y la misma configuración de temperatura. Cada modelo respondió las 803 preguntas cinco veces. Los demás modelos de la tabla usaron una temperatura diferente, por lo que sus resultados requieren cautela al compararlos.
El 0.9% no equivale a respuestas completas
Nous midió también cuántos hechos seleccionados aparecían en cada respuesta. La escala iba de cero a cinco. El promedio pasó de 2.32 en Qwen a 2.98 en Arete.
El modelo maestro elegido para el ajuste, Inkling, obtuvo 3.96 en esa misma tabla, aunque con una configuración de temperatura distinta. Nous también informó que las respuestas con puntuación factual de cero bajaron de 359 a 216 por cada 803 preguntas.
Un cero podía asignarse porque la respuesta no incluía ninguno de los hechos requeridos o porque contradecía al menos uno. Esa cifra no equivale a un conteo de respuestas con propaganda.
La diferencia importa para leer el 0.9%: una respuesta puede evitar el encuadre que busca la prueba y aun así omitir información que la rúbrica considera necesaria. La evaluación se concentra en la narrativa del Estado chino y no mide de forma equivalente la posible adopción de relatos oficiales de otros gobiernos.
Qué cambió Nous en Qwen
El equipo usó respuestas de Inkling como ejemplos para un ajuste supervisado de Qwen. El proceso empleó unos 52.8 millones de tokens, unidades de texto que procesan los modelos, durante dos pasadas por los datos.
Nous no recurrió al aprendizaje por refuerzo ni modificó la arquitectura. El entrenamiento afectó a todos los pesos del modelo. El codificador visual quedó congelado porque los ejemplos usados eran solo de texto.
En la prueba interna Hermes Bench, Arete obtuvo 65.60%, frente a 65.77% de Qwen. Nous considera que la diferencia entra en el margen de variación de esa medición. El resultado no demuestra que ambas versiones rindan igual en todas las tareas.
A partir de su experimento, el laboratorio sostiene que el sesgo que buscaba cambiar es superficial. Los resultados muestran un cambio de comportamiento en las pruebas descritas, pero no establecen por sí solos dónde se originó ese comportamiento ni que pueda modificarse de la misma forma en todos los modelos.
Pesos y datos abiertos para nuevas pruebas
Arete-27B está disponible en Hugging Face bajo licencia Apache 2.0. Nous también publicó los datos del ajuste y la evaluación, de modo que otros equipos puedan examinar el procedimiento y someterlo a nuevas pruebas.
El idioma también cambia el resultado
Una evaluación anterior de Vals AI examinó otros modelos con preguntas políticas en varios idiomas, incluido el español. Para la mayoría de los modelos que probó, las respuestas tendían a ser más favorables a China cuando la pregunta estaba en chino simplificado que cuando estaba en inglés, ruso o español. También observó diferencias según el contexto de uso.
Ese trabajo es independiente de Nous y no evaluó Arete-27B. Sus métodos y modelos son distintos, así que sus porcentajes no pueden trasladarse a la prueba de 803 preguntas.
La publicación de los pesos, las preguntas y los datos de ajuste permite contrastar Arete con su modelo base en más idiomas y situaciones. Por ahora, el 0.9% describe el resultado bajo la rúbrica de Nous, con el razonamiento apagado y la configuración de temperatura usada, no una medida general del comportamiento político del modelo.
