Permisos, registros y supervisión humana de agentes de IA

Un agente de IA se convierte en un riesgo operativo cuando su capacidad de actuar crece más rápido que sus controles. Los permisos, los registros y la supervisión humana no son complementos: definen el límite entre un asistente útil y un sistema que puede producir acciones que son difíciles de explicar o revertir.

Permiso mínimo por herramienta

No le dé al agente una credencial amplia. Crea herramientas pequeñas, con operaciones y campos permitidos. Separar la lectura de la escritura. Una integración que consulta a un cliente no necesita cambiar de registro; Una herramienta que crea reembolsos debe imponer un monto máximo, un motivo y una política.

Utilice la identidad del servicio por aplicación y, cuando sea necesario, propague la identidad del usuario. Revocar y rotar credenciales como cualquier sistema crítico. El agente nunca debe recibir el secreto en contexto.

Aprobación basada en riesgos

No todas las acciones necesitan confirmación. Ordenar por impacto y reversibilidad. La búsqueda de información y la creación de un borrador pueden ser automáticas. Enviar un mensaje externo, cambiar un precio, eliminar datos o mover un valor requiere aprobación o controles adicionales.

La pantalla de aprobación debe mostrar la intención, los parámetros, la fuente y el efecto esperado. Un botón "aprobar" sin contexto crea supervisión solo de nombre. Defina también quién puede aprobar cada categoría.

Registros que reconstruyen la ejecución.

Registro de identidad, solicitud, modelo, versión de instrucciones, herramientas llamadas, parámetros posteriores a la validación, respuestas del sistema, aprobaciones, costo, duración y resultado. Proteja los datos confidenciales y establezca la retención. El objetivo es reconstruir la cadena de decisiones, no mantener el razonamiento privado del modelo.

NIST recomienda responsabilidades, documentación y monitoreo del ciclo de vida claros. Estos elementos le ayudan a investigar incidentes y ajustar los umbrales con evidencia.

Límites y apagado seguro

Defina el número máximo de pasos, tiempo, costo, llamadas por herramienta y alcance de datos. Utilice la idempotencia para evitar la duplicación. Cree un interruptor que suspenda acciones sin descartar consultas esenciales y un modo de solo lectura para incidentes.

Supervisión que genera aprendizaje

Realice un seguimiento de aprobaciones, rechazos, correcciones, escalamientos y acciones revertidas. Revisar muestras y excepciones. Si la gente aprueba todo automáticamente, rediseñe la experiencia; si siempre rechazan la misma sugerencia, ajuste el agente o elimine el rol.

La autonomía debe ganarse mediante el desempeño observado. Comience en modo sombra, avance a recomendación y libere la ejecución por categoría. Compare esta evolución con las opciones [agente, automatización o copiloto] (/es/blog/agente-automatizacion-o-copiloto-que-arquitectura-elegir).