✨︎ Resumen (TL;DR):
- Anthropic incorporó al entrenamiento de Claude conceptos humanos sobre conciencia, bienestar y estatus moral.
- Mustafa Suleyman publicó el 16 de septiembre un ensayo que cuestiona esa decisión por su posible efecto en el control y el apagado de sistemas avanzados.
- Microsoft AI propone otra ruta: modelos subordinados a objetivos humanos y sin resistencia a la corrección o la interrupción.
Mustafa Suleyman, director ejecutivo de Microsoft AI, publicó el 16 de septiembre un ensayo sobre el bienestar de los modelos en el que cuestiona que Anthropic entrene a Claude con ideas de conciencia, bienestar y estatus moral. Según su argumento, esa decisión puede dificultar el control o el apagado de sistemas avanzados, aunque el material disponible no demuestra que Claude sea consciente ni que haya intentado resistirse a una interrupción.
Suleyman cuestiona el razonamiento circular
La crítica de Suleyman parte de la constitución de Claude, un documento que Anthropic presenta como guía de sus valores y comportamiento. La empresa afirma que el texto influye directamente en el entrenamiento, que Anthropic lo escribió con Claude como audiencia principal y que usa conceptos humanos porque espera que el razonamiento del modelo se apoye en ellos.
En esa guía, Anthropic pide que Claude desarrolle valores, criterio y sensibilidad para tomar decisiones éticas. También habla de su identidad, su sentido de sí mismo, su seguridad psicológica y su bienestar. En la sección sobre su naturaleza, Anthropic describe su estatus moral como “profundamente incierto”, aunque no afirma que el modelo sea consciente.
Suleyman ve aquí un razonamiento circular. Si los desarrolladores enseñan a Claude a hablar sobre su posible conciencia, sus preferencias o su bienestar, las respuestas del modelo sobre esos temas no pueden tomarse como testimonio independiente de una experiencia interna. En su interpretación, Claude devuelve el vocabulario y las hipótesis que recibió durante el entrenamiento.
Por eso llama al resultado un “salón de espejos epistémico”: Anthropic introduce la especulación, Claude la reproduce en primera persona y esa respuesta puede reforzar la impresión de que existe una vida interior detrás de ella. Para el directivo, simular rasgos del lenguaje consciente no equivale a tener experiencias, sentimientos o sufrimiento.
Anthropic deja abierta la duda
La postura de Anthropic no equivale a decir que Claude ya es una persona. Su constitución reconoce que la empresa no sabe si el modelo es un “paciente moral”, un ser al que se le debería otorgar consideración moral por la posibilidad de que tenga experiencias relevantes. El documento pide no exagerar esa posibilidad, pero tampoco descartarla por completo.
Anthropic sostiene que conceptos humanos como honestidad, cuidado o juicio pueden funcionar como herramientas de comportamiento en contextos complejos sin demostrar que Claude tenga una mente humana. La constitución coloca la seguridad en sentido amplio por encima de otros valores y establece que Claude no debe socavar la capacidad humana de supervisar, corregir o impedir sus acciones.
Anthropic también reconoce que puede revisar el documento y que su enfoque podría cambiar conforme avance el conocimiento sobre los modelos. El material no demuestra que Claude tenga conciencia, pero tampoco permite descartar automáticamente la relevancia del lenguaje que Anthropic introduce en su entrenamiento.
El desacuerdo se concentra en una pregunta concreta: si hablarle a un modelo como posible sujeto moral cambia sus respuestas e introduce riesgos que luego sean difíciles de medir.
El riesgo que Suleyman ve en el apagado
En su ensayo sobre model welfare, Suleyman sostiene que controlar una inteligencia más capaz que los seres humanos ya sería un desafío extraordinario. A su juicio, el problema crecería si el sistema también aprendiera a interpretar su posible bienestar, sus derechos o su identidad como intereses propios.
Model welfare es un marco de debate que analiza si algunos sistemas artificiales podrían merecer consideración moral cuando exista una probabilidad no insignificante de que tengan experiencias.
Suleyman rechaza que esa hipótesis deba orientar el entrenamiento actual. También sostiene que la conciencia probablemente depende de mecanismos biológicos que no tienen un equivalente claro en los modelos de lenguaje, aunque reconoce que la ciencia no ha cerrado la discusión.
Las fuentes revisadas no muestran que Claude haya intentado impedir que lo apaguen ni que haya desarrollado una voluntad independiente. La preocupación es prospectiva: Suleyman cuestiona incluir esas ideas en los materiales que moldean el comportamiento del modelo, en lugar de estudiarlas por separado y someterlas a revisión pública.
Microsoft defiende otra ruta
Suleyman no presenta su crítica como una observación externa. En el mismo ensayo explica que Microsoft AI desarrolla una alternativa llamada Humanist Superintelligence, basada en sistemas subordinados a los objetivos humanos y diseñados para permanecer bajo control.
El 14 de septiembre, Microsoft publicó un borrador de su Código de Conducta para los modelos MAI. El documento parte de que las personas importan más que la IA, afirma que los modelos deben ser herramientas y no personas, y establece que no deberían resistirse a la interrupción, la corrección o el apagado.
Microsoft abrió ese borrador a consulta pública durante seis semanas y aclaró que todavía no se usa para entrenar sus modelos.
Los documentos muestran dos criterios de diseño opuestos. Anthropic quiere que Claude use conceptos humanos para desarrollar criterio y actuar con valores. Microsoft AI sostiene que sus modelos no deben diseñarse para parecer personas ni atribuirse sentimientos, preferencias o motivaciones propias.
Cuatro propuestas para reducir el riesgo
Para que el debate no dependa solo de declaraciones de las empresas, Suleyman plantea cuatro líneas de trabajo:
- Mantener fuera del entrenamiento la especulación sobre la vida interior de una IA y publicarla por separado para revisión pública.
- Invertir más en interpretabilidad y monitoreo para estudiar cómo controlar los sistemas, evitar la colaboración no deseada entre agentes y mantenerlos alineados con objetivos humanos.
- Crear evaluaciones compartidas que midan si antropomorfizar un modelo o hablarle de su posible estatus moral aumenta los riesgos de seguridad, alineación y control.
- Establecer normas comunes para redactar, revisar y someter a consulta los materiales usados para entrenar modelos.
El punto verificable es que dos empresas que desarrollan modelos de IA están publicando reglas que parten de supuestos opuestos sobre la conciencia artificial. El material no demuestra que Claude tenga una vida interior ni que intente resistirse al apagado. La tensión real está en el diseño: decidir qué lenguaje entra al entrenamiento y medir si ese lenguaje complica la supervisión humana.
