La identidad y los permisos no son suficientes para gobernar el comportamiento de los agentes de IA

Presentado por Caja

La identidad y los permisos ya no son suficientes para proteger a los agentes de IA empresarial. Gobiernan lo que un agente puede alcanzar, no cómo se comporta una vez que comienza a trabajar por sí solo, y un agente autónomo puede convertir el acceso legítimo a datos empresariales en una acción no deseada en segundos. Esa brecha está empujando a la seguridad de la IA empresarial de simplemente controlar el acceso a un enfoque en capas que incluye gobernar la ejecución, dice Heather Ceylan, directora de seguridad de la información de Box.

«Los controles de acceso y los permisos son la base, pero el desafío es que fueron diseñados para humanos», dice Ceylan. «Los permisos siguen siendo la base, pero también hay que pensar en cómo los agentes obtienen sus permisos».

Los controles de acceso se crearon para un mundo más lento y más indulgente, donde un empleado humano con permisos persistentes en una carpeta de hace una década rara vez buscará datos dentro de ella, o incluso recordará que tiene acceso. Pero un agente explorará todos sus permisos, operando a una escala que ninguna persona puede igualar y sacando a la luz configuraciones erróneas olvidadas y permisos obsoletos mucho más rápido de lo que podría hacerlo un humano. La identidad y los permisos de alcance siguen siendo la primera capa de cualquier defensa creíble; sin embargo, debido a que los agentes aumentan los riesgos, la higiene del acceso limpio es más valiosa que nunca.

El constante goteo de incidentes en los últimos meses pone de relieve la posibilidad de que se produzcan daños importantes, donde los modelos han escapado de las cajas de arena en las que se suponía que debían permanecer contenidosllegaron a sistemas que no podían tocar o leyeron contenido al que no tenían permiso de acceso. Si bien los detalles varían, la amenaza general sigue siendo la misma: un agente encontró un camino a través de los datos al que podía acceder y lo tomó.

Los controles de acceso por sí solos no pueden proteger a los agentes autónomos de IA

Las complicaciones surgen cuando los agentes reciben amplios permisos para adaptarse a flujos de trabajo amplios. Es legítimo que un agente necesite llamar a cincuenta herramientas en veinte acciones diferentes durante la vida de una tarea, leyendo y escribiendo carpetas que abarcan todos los departamentos de la empresa. Pero otorgar todo ese acceso a la vez aumenta el radio de posible daño a los datos y al contenido si un solo paso sale mal. Un modelo de permisos más sólido proporciona acceso sólo en los momentos en que es necesario, afirma Ceylan.

«Se necesitan permisos que cambien según lo que se le ha pedido al agente que haga y cuándo debe realizar esa acción», explica. «Si está dando un paso y solo necesita dos herramientas, debe limitarse solo a esas dos. Cuando limita los permisos a la tarea frente al agente, la cantidad de formas en que un paso determinado puede fallar se reduce con él».

De gobernar el acceso a gobernar la ejecución

La seguridad estricta ya no está ligada a si un agente tiene acceso a datos específicos, sino a si debe realizar una acción específica en un paso específico, que es la diferencia entre una concesión de acceso permanente y una limitada. En otras palabras, un agente puede tener derechos legítimos sobre una carpeta financiera pero aún así no tiene por qué escribir cuatro mil de esos archivos en una nueva ubicación, incluso si se le ordena que lo haga.

«A un empleado con acceso a datos de nómina que nunca debieron conservar se le podría ordenar que extraiga los registros de nómina y los escriba en una carpeta pública compartida, publicando la compensación completa de la empresa en un solo movimiento», dice. «Se han superado todos los controles de acceso, pero el comportamiento sigue teniendo consecuencias catastróficas».

Las indicaciones por sí solas no pueden gobernar de manera confiable el comportamiento de los agentes porque las instrucciones pueden cambiar, los agentes pueden absorber instrucciones inyectadas o pueden ser guiados por archivos que leen a lo largo del camino. Los controles duraderos deben vivir un nivel más abajo, con las propias llamadas de la herramienta, así como con el contenido sobre el que actúan esas llamadas. Decidir de antemano lo que un agente puede ejecutar, independientemente de cómo se manipule su indicación, mantiene el comportamiento dentro de límites fijos de los que ninguna entrada inteligente puede disuadirlo.

Las plataformas de contenido heredadas no fueron creadas para agentes de IA

La mayor parte de lo que un agente toca dentro de una empresa es contenido no estructurado, incluidos contratos, políticas, registros de clientes: los archivos acumulados que constituyen la abrumadora mayoría de los datos corporativos. Gran parte todavía se encuentra en sistemas que fueron diseñados para los hábitos de archivo humanos: unidades de red, plataformas ECM obsoletas y muchas herramientas SaaS. Esos sistemas se crearon para plantear la pregunta: ¿esta persona tiene permiso? y responden con acceso a nivel de carpeta que no ha sido auditado durante años.

Las plataformas heredadas no tienen metadatos para que un agente razone ni clasificación para que una capa de cumplimiento actúe, y sus registros no son lo suficientemente detallados como para mostrar lo que lee un agente. Atornillar un conector de IA a esa pila no soluciona nada, simplemente les da a los agentes los mismos puntos ciegos, solo que a velocidades de máquina, dice Ceylan.

«Cada acción de un agente eventualmente se traduce en contenido», dice Ceylan. «Si la capa de contenido no puede decirle qué contiene, a quién pertenece y qué no debe abandonarse nunca, no hay nada bajo sus controles».

Cómo decidir qué acciones de IA necesitan la aprobación humana

Hace dos años, todo el mundo asumía que la seguridad siempre significaría incluir a los humanos en el proceso. Construir y convivir con agentes ha cambiado esa suposición, dice Ceylan, y Box ahora clasifica las acciones en tres niveles: acciones totalmente autónomas, acciones monitoreadas y acciones de alto riesgo que requieren aprobación humana.

• Totalmente autónomoreservado para acciones reversibles, limitadas, registradas y libres de entradas no confiables, y donde un error no cuesta demasiado.

• Acciones monitoreadasuna vez que un equipo ha generado suficiente confianza en un agente y lo ha combinado con alertas y reversión que pueden detectar y deshacer un problema en el futuro.

• Acciones irreversibles y de alto riesgo que siempre se enrutan a través de una persona, por ejemplo, cuando un agente desea eliminar una gran cantidad de archivos o borrar la carpeta principal de una estructura.

Cada equipo debe calibrar las líneas entre estas capas para que coincidan con su propia tolerancia al riesgo.

El enfoque de Box es colocar controles en la plataforma en lugar del flujo de trabajo, aplicando protecciones como la clasificación, el etiquetado y la caducidad de los datos sin requerir un punto de control humano para cada acción.

«Se debe aplicar la configuración correcta desde el principio, en lugar de bloquear una acción al final», afirma Ceylan.

Generar confianza en los agentes de IA a través del comportamiento a lo largo del tiempo

Una organización puede tomar una decisión de acceso una vez, pero confiar en el comportamiento de un agente solo debe ocurrir con el tiempo, observando cómo el agente se ejecuta, colabora y desarrolla los resultados de otros agentes. Los marcos publicados tienden a retrasarse con respecto a la tecnología o son demasiado abstractos para implementarlos; en cambio, Box trabaja a partir de un conjunto más pequeño de principios: identidades y acciones de agentes con un alcance estricto, expectativas claras sobre lo que se puede revertir, tres niveles de aprobación y una forma para que los equipos prueben e iteren rápidamente.

«El camino sancionado tiene que ser el camino rápido, porque cuando los equipos no cuentan con una forma segura de experimentar, tienden a eludir los controles por completo», dice Ceylan. «El trabajo de un líder de seguridad es ofrecer una manera de moverse rápidamente sin salirse de las barreras de seguridad».

Mantener la confianza en un agente depende de poder ver cómo se comporta realmente. Pero las herramientas de monitoreo tradicionales no fueron diseñadas para ese trabajo; las líneas de base de comportamiento que sustentan el análisis del comportamiento de usuarios y entidades se calibraron para la actividad humana, y el comportamiento sospechoso de los agentes no necesariamente se parece a la actividad humana.

Y si bien el establecimiento de una base de referencia útil para los agentes comienza con el registro, muchos agentes comienzan como experimentos, por lo que sus acciones nunca llegan a la infraestructura de registro. Además, las señales importantes rara vez son acciones individuales fáciles de marcar, sino cadenas de actividades entre sistemas, a medida que la salida de un agente se convierte en la entrada de otro, mientras las detecciones para ese patrón aún se están diseñando.

Agentes gobernantesentonces, requiere visibilidad no sólo de lo que pueden acceder, sino también de lo que realmente hacen, y esa visibilidad tiene que residir en el lugar donde se encuentra el contenido.

Los artículos patrocinados son contenido producido por una empresa que paga por la publicación o tiene una relación comercial con VentureBeat, y siempre están claramente marcados. Para más información, póngase en contacto ventas@venturebeat.com.