✨︎ Resumen (TL;DR):
- Christiano calcula que la posibilidad de que la humanidad pierda poder efectivo de decisión frente a la IA en un año está más cerca del 10% que del 1%.
- Si la industria mantiene su ritmo, estima una posibilidad entre tres de que surja una superinteligencia en ese mismo plazo.
- Pide detener de inmediato ciertos trabajos de mejora algorítmica, que a su juicio podrían difundirse con demasiada facilidad bajo las protecciones actuales.
Paul Christiano estima que la probabilidad de que la humanidad pierda el poder efectivo de decisión frente a sistemas de inteligencia artificial durante el próximo año está más cerca del 10% que del 1%. En una entrevista publicada el 16 de noviembre de 2026, explicó a Dwarkesh Patel que el riesgo sería sustancialmente mayor si los laboratorios avanzan a toda velocidad sin adoptar precauciones.
Dos probabilidades que no miden lo mismo
La superinteligencia es una capacidad de IA que permitiría a un sistema superar ampliamente a las personas en casi todas las tareas. Christiano estimó cerca de una posibilidad entre tres de que apareciera en un año si la industria mantiene el ritmo actual.
Ese cálculo mide la capacidad que podrían alcanzar los modelos. El 10% se refiere a otra posibilidad: que las personas pierdan poder efectivo para decidir frente a esos sistemas.
Una semana antes, en las Hinton Lectures de Toronto, Christiano había comparado la posibilidad de perder el control con lanzar una moneda bajo el escenario de desarrollo más rápido. Esa estimación contemplaba un horizonte de tres años.
El 20% que circuló en la cobertura de aquellas conferencias no era de Christiano. Gizmodo atribuyó esa cifra a Buck Shlegeris, director ejecutivo de Redwood Research. Shlegeris hablaba de la posibilidad de que fallos de alineación alteraran gravemente la vida cotidiana durante el próximo año, incluidos daños indirectos.
Un fallo de alineación es un comportamiento de un sistema de IA que va en contra de lo que sus operadores pretenden.
METR midió el ritmo en Anthropic
Christiano vinculó su preocupación con la posibilidad de que la IA acelere la investigación necesaria para crear modelos más capaces. En un informe publicado el 5 de noviembre, la organización evaluadora METR estimó que los modelos de Anthropic mejoraban en tareas bien delimitadas a un ritmo aproximadamente dos veces superior al histórico.
El cálculo tiene un margen amplio. Según lo que el personal de Anthropic contó a METR, la IA ha acelerado la investigación sobre todo al asistir a los equipos.
El informe se concentra en Anthropic y deja abierta la pregunta de cuánto se ha acelerado el desarrollo en el resto de la industria. Además, Anthropic suprimió buena parte de la evidencia que METR consideraba más informativa.
Christiano pide detener ciertos trabajos
El investigador dijo que los laboratorios deberían detener de inmediato ciertos trabajos de mejora de algoritmos. A su juicio, esos avances podrían difundirse con demasiada facilidad bajo las protecciones actuales.
Christiano forma parte del consejo de OpenAI Foundation. En septiembre, la organización lo nombró integrante de su Comité de Seguridad y Protección. En el consejo de OpenAI Group PBC ocupa un puesto de observador sin derecho a voto.
Durante la entrevista aclaró que hablaba a título personal y que la recomendación de detener esos trabajos era su propia postura.
