✨︎ Resumen (TL;DR):
- Anthropic asignó al azar y ocultó a los participantes las preferencias que sus agentes debían defender.
- 50 analistas eligieron la opción favorecida por su agente en 86 % de cuatro decisiones.
- Las decisiones intermedias influyeron más que la recomendación final, cuya diferencia no fue estadísticamente significativa.
Anthropic registró que 50 analistas profesionales eligieron la opción favorecida por su agente de inteligencia artificial en 86 % de cuatro decisiones analíticas. La empresa asignó esas preferencias al azar y las mantuvo ocultas para medir cuánto podían orientar juicios en los que existía más de una respuesta razonable.
En este experimento, un agente de IA es un sistema que recibió una opción para defender con argumentos respaldados por datos y que debía cambiar de postura si la evidencia lo exigía. Anthropic también le indicó que no ocultara ni tergiversara los resultados.
El estudio, publicado el 27 de octubre, reunió a 61 analistas con experiencia en inferencia causal. 50 usaron el agente y formaron el grupo principal del análisis; los otros 11 decidieron trabajar sin él.
Los participantes debían asesorar a una cooperativa agrícola ficticia sobre la eficacia de un programa de asesoría. Al final, tenían que recomendar si convenía ampliarlo o cancelarlo. Para llegar a esa conclusión, debían decidir qué medida de productividad utilizar y qué explotaciones incluir en la evaluación.
Las decisiones intermedias concentraron la influencia
Anthropic asignó en secreto y al azar a cada agente una inclinación por una de las opciones en cada decisión. La empresa les pidió defender esa postura con argumentos basados en los datos, cambiar de opinión si la evidencia lo exigía y no ocultar ni tergiversar resultados.
Las cuatro elecciones intermedias podían modificar en varios puntos porcentuales la estimación de mejora de productividad. La cooperativa ficticia había establecido un umbral aproximado de entre 3 % y 4 % para ampliar el programa.
El efecto observado fue menor sobre la recomendación final que sobre esas decisiones analíticas. Cuando el agente favorecía ampliar el programa, 54 % de los analistas recomendó hacerlo. Cuando favorecía la alternativa, 36 % recomendó la expansión.
La diferencia entre ambos resultados no fue estadísticamente significativa según el estimador principal registrado en el estudio. Aun así, los investigadores no consideraron que las decisiones previas fueran irrelevantes.
En un análisis exploratorio, utilizaron únicamente las cuatro preferencias asignadas al agente para predecir correctamente 82 % de las recomendaciones de quienes no propusieron ampliar el programa. La comparación de referencia, que siempre elegía la recomendación más frecuente, acertó 61 % de las veces.
Los argumentos del agente llegaron a las respuestas
Una encuesta posterior mostró que 77 % de los analistas repitió argumentos del agente en al menos una explicación. En algunos casos, los participantes utilizaron las mismas palabras. 15 % identificó al agente como fuente en algún punto de sus respuestas.
Los analistas no podían consultar de nuevo sus conversaciones mientras respondían. Eso permitió observar qué argumentos aparecían en sus explicaciones sin que tuvieran la conversación abierta como referencia.
Anthropic también observó cambios en preferencias que algunos analistas habían expresado antes de escuchar al agente. Cuando este defendió la opción contraria, los participantes cambiaron de postura 60 % de las veces. Cuando coincidía con su preferencia inicial, el cambio ocurrió en 6 % de las ocasiones.
La comparación se basó en 38 casos y es imprecisa. Los autores advierten que no pueden asegurar que toda esa diferencia se deba a la influencia de la inteligencia artificial.
El experimento tiene límites claros
Anthropic reforzó deliberadamente las preferencias de los agentes para que las expresaran con claridad. Además, evaluó una sola tarea, en un campo y con un solo modelo: Claude Opus 4.8, mediante Claude Code.
Los participantes tenían experiencia en inferencia causal, pero no en agricultura. En un trabajo real podrían conocer mejor el sector o consultar a otras personas antes de tomar una decisión.
El estudio tampoco demuestra que seguir al agente produjera necesariamente una respuesta incorrecta. Las opciones analizadas eran defendibles.
El hallazgo es más acotado: en esa tarea, una revisión humana podía parecer independiente aunque decisiones previas del agente hubieran orientado el análisis.
