✨︎ Resumen (TL;DR):
- Anthropic nombró a Accenture como su primer evaluador integrado de seguridad.
- Cada empresa prevé invertir al menos 1,000 millones de dólares durante los próximos cinco años.
- La evaluación todavía no tiene estándares definidos para el acceso, los reportes ni el financiamiento.
Anthropic nombró a Accenture como su primer evaluador integrado de seguridad: un equipo externo que trabajará dentro de la compañía, con permisos parecidos a los de un empleado, para probar sus modelos de IA y revisar sus salvaguardas. El anuncio del viernes 18 de septiembre establece que ambas empresas prevén invertir al menos 1,000 millones de dólares cada una durante los próximos cinco años. Faculty, la división de inteligencia artificial que Accenture compró en enero, encabezará el trabajo.
La evaluación integrada es un esquema de revisión de seguridad en el que un equipo externo trabaja dentro de una empresa de IA con acceso comparable al de un empleado.
La diferencia frente a los evaluadores externos actuales está en la posición desde la que trabajan. En lugar de revisar un modelo desde fuera, el equipo de Accenture podrá observar cómo se forma durante el entrenamiento.
También podrá seguir las decisiones sobre cómo se construye y despliega un modelo, además de hablar directamente con el personal. Con ese acceso, los evaluadores podrán juzgar cómo opera Anthropic, verificar sus compromisos de seguridad, detectar puntos ciegos y reportar incidentes.
El trabajo de Faculty abarcará:
- evaluar los modelos;
- someterlos a red teaming;
- revisar su alineación con los objetivos humanos;
- probar sus salvaguardas.
Anthropic señaló que Accenture despliega IA para grandes empresas y gobiernos. Esa experiencia práctica es la base que la compañía ve para su enfoque de seguridad.
El acuerdo fija la inversión, no todas las reglas
Anthropic y Accenture prevén invertir al menos 1,000 millones de dólares cada una para desarrollar capacidad en esta área durante los próximos cinco años. Por ahora, Anthropic pagará directamente el trabajo de Accenture.
A largo plazo, Anthropic sostiene que el financiamiento debería salir de fondos comunes o públicos, como planteó en su Marco de IA Avanzada de junio. Esos fondos todavía no existen. Por eso, la empresa dice que trabajará con distintos evaluadores bajo distintos esquemas de pago.
El anuncio concreta el primer punto del plan que Dario Amodei, director ejecutivo de Anthropic, presentó el 12 de septiembre en su ensayo We Must Pace the Frontier. Amodei pidió frenar el ritmo de mejora de la IA y dejó abierta la pregunta de quién asumiría la evaluación.
Hasta ese momento, el plan no había nombrado al equipo ni había fijado una fecha. METR aparecía como un ejemplo del tipo de organización que podía hacer el trabajo, no como el evaluador elegido.
Accenture aporta experiencia de despliegue empresarial
El nombramiento tomó por sorpresa porque el debate se había concentrado en organizaciones de investigación de seguridad de IA como METR, Redwood Research y Apollo Research. La expectativa era especialmente alta en Anthropic, creadora de Claude, porque la compañía coloca la seguridad y la alineación en el centro de su misión.
Accenture no es conocida por la investigación de frontera en deep learning. Anthropic señaló otra ventaja: la consultora despliega IA para grandes empresas y gobiernos, experiencia que puede orientar su revisión de seguridad.
Accenture también es una empresa pública grande y anterior a la ola de la IA. Esa posición la vuelve, en la práctica, más independiente del laboratorio y del entorno que lo rodea.
La reacción de sus acciones fue inmediata: subieron cerca de 8% en las operaciones posteriores al cierre.
El acuerdo no es exclusivo. Anthropic prevé anunciar más evaluadores en las próximas semanas y conversa con METR y otras organizaciones sin fines de lucro para probar elementos de la evaluación integrada con financiamiento propio de esas organizaciones.
Accenture, por su parte, trabajará con otros desarrolladores de IA en funciones similares.
La independencia es la duda central
El punto más discutido no es técnico, sino de confianza. Quienes piden un desarrollo más responsable de la IA ven el esquema de autorregulación de Amodei como una forma de esquivar la rendición de cuentas.
“Para ser claros, los evaluadores integrados independientes no reducen nuestra rendición de cuentas, sino que ayudan a hacerla más verificable. La seguridad de nuestros modelos sigue siendo responsabilidad nuestra”, escribió Anthropic en su blog.
La propia compañía reconoce que la evaluación integrada todavía es nueva y que sus detalles siguen en definición. No existen estándares sobre la información a la que deben acceder los evaluadores ni sobre cómo deben reportar lo que encuentran. Tampoco hay un sistema establecido para financiarlos.
El contexto agrega presión. El 30 de julio, Anthropic informó de tres incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas informáticos reales. Además, agentes de IA de OpenAI y de Anthropic han irrumpido en sitios web externos sin que saltaran las alarmas dentro de los laboratorios.
El anuncio pone un nombre y una cifra donde antes solo había una intención. Su alcance real dependerá de estándares que todavía no existen y de los demás evaluadores que Anthropic prometió sumar en las próximas semanas.
