✨︎ Resumen (TL;DR):
- El vicepresidente de seguridad de Amazon afirma que exigir la aprobación humana constante en los flujos de IA añade riesgos innecesarios.
- Un reporte de Gartner revela que el 40% de las empresas planea desactivar agentes de IA por fallas en su control y gobernanza.
- La tecnológica apuesta por aplicar filtros de seguridad directamente en el hardware y código en lugar de recurrir al criterio humano.
Amazon ha decidido romper con una de las reglas de oro de la industria tecnológica al asegurar que la supervisión humana constante no es el mejor método para controlar a la inteligencia artificial. Eric Brandwine, vicepresidente de seguridad de la compañía, argumenta que los humanos introducen fallos e inconsistencias en la toma de decisiones.
En lugar de depender de aprobaciones humanas en cada paso de un proceso, la división de la nube de Amazon (AWS) está implementando un modelo de responsabilidad de extremo a extremo donde la seguridad se aplica directamente en el código y el hardware.
De acuerdo con reportes de The Register, Brandwine declaró que las empresas suelen ser “un poco sentimentales con los humanos” cuando se trata de vigilar sistemas de IA. Para la compañía de comercio electrónico, delegar la última palabra a una persona en tareas rutinarias no solo ralentiza el flujo de trabajo, sino que añade nuevos riesgos debido a la falta de consistencia de nuestra especie.
Seguridad desde la raíz tecnológica
Para solucionar esto, AWS ha desarrollado controles a nivel de infraestructura. Esto significa que la red decide si un agente de IA tiene permitido realizar una acción antes de ejecutarla, sin importar si el sistema está alucinando o fue hackeado.
“Evalúa si el agente puede hacer esto antes de que lo haga, en la capa de infraestructura”, detalló Gee Rittenhouse, vicepresidente de servicios de seguridad de Amazon. “Y si la respuesta es no, no se le permite hacerlo en ese momento, independientemente del comando”.
La arquitectura técnica de Amazon se basa en la identidad verificable.
Identity-first control es un marco de ciberseguridad que asigna una identidad verificable y permisos delimitados a cada agente de IA.
Para lograrlo, la plataforma utiliza herramientas como Bedrock AgentCore Identity y el hardware de seguridad Nitro para aislar y proteger el sistema contra agentes de IA comprometidos.
El problema de la autonomía sin control
La urgencia por definir la gobernanza de estas tecnologías llega en un momento crítico. Un informe de la consultora Gartner reveló que el 40% de las empresas planea degradar o desactivar sus agentes de IA debido a las dificultades para controlarlos.
La propia Amazon experimentó este riesgo directo en marzo de este año. Un agente de IA que seguía instrucciones desactualizadas de un manual interno provocó caídas en el sitio web de ventas de la empresa. El incidente obligó a la compañía a implementar medidas de fricción controlada en implementaciones de alto riesgo.
A pesar de estos tropiezos, el gigante tecnológico mantiene firme su postura. En lugar de detener cada proceso para pedir la firma de un empleado, la supervisión humana en Amazon se activará únicamente cuando la máquina supere ciertos umbrales de riesgo previamente definidos por el sistema.
