Permissões, logs e supervisão humana em agentes de IA

Um agente de IA se torna um risco operacional quando sua capacidade de agir cresce mais rápido que os controles. Permissões, logs e supervisão humana não são complementos: definem o limite entre um assistente útil e um sistema que pode produzir ações difíceis de explicar ou reverter.

Permissão mínima por ferramenta

Não entregue uma credencial ampla ao agente. Crie ferramentas pequenas, com operações e campos permitidos. Separe leitura de escrita. Uma integração que consulta um cliente não precisa alterar cadastro; uma ferramenta que cria reembolso deve impor valor máximo, motivo e política.

Use identidade de serviço por aplicação e, quando necessário, propague a identidade do usuário. Revogue e rotacione credenciais como em qualquer sistema crítico. O agente nunca deve receber o segredo no contexto.

Aprovação baseada em risco

Nem toda ação precisa de confirmação. Classifique por impacto e reversibilidade. Buscar informação e criar rascunho podem ser automáticos. Enviar mensagem externa, alterar preço, excluir dado ou movimentar valor exigem aprovação ou controles adicionais.

A tela de aprovação precisa mostrar intenção, parâmetros, fonte e efeito esperado. Um botão “aprovar” sem contexto cria supervisão apenas nominal. Defina também quem pode aprovar cada categoria.

Logs que reconstroem a execução

Registre identidade, solicitação, modelo, versão das instruções, ferramentas chamadas, parâmetros após validação, respostas dos sistemas, aprovações, custo, duração e resultado. Proteja dados sensíveis e estabeleça retenção. O objetivo é reconstituir a cadeia de decisão, não guardar raciocínio privado do modelo.

O NIST recomenda responsabilidades claras, documentação e monitoramento durante o ciclo de vida. Esses elementos ajudam a investigar incidentes e ajustar limites com evidência.

Limites e desligamento seguro

Defina número máximo de passos, tempo, custo, chamadas por ferramenta e escopo de dados. Use idempotência para impedir duplicação. Crie um interruptor que suspenda ações sem derrubar consultas essenciais e um modo somente leitura para incidentes.

Supervisão que gera aprendizado

Acompanhe aprovações, rejeições, correções, escalonamentos e ações revertidas. Revise amostras e exceções. Se pessoas aprovam tudo automaticamente, redesenhe a experiência; se rejeitam sempre a mesma sugestão, ajuste o agente ou remova a função.

A autonomia deve ser conquistada por desempenho observado. Comece em modo sombra, avance para recomendação e libere execução por categoria. Compare essa evolução com as opções de agente, automação ou copiloto.