Governança e avaliação de agentes de IA na prática: o que um laboratório de verdade aprendeu

Meses depois de entrar em produção, o agente que responde avaliações de um dos aplicativos da empresa estava postando notificações no canal do time do outro aplicativo. Ninguém percebeu. O fluxo rodava, a resposta saía, o registro era gravado. Quem achou foi uma auditoria feita de propósito, item a item, por alguém procurando o que estava fora do lugar. Esta página é sobre isso: como decidir, vigiar, avaliar e desligar agentes de IA quando eles saem da demo e mexem na operação. Tudo vem do laboratório que lidero, com números e tropeços.

Quando um agente se justifica: o degrau mais baixo que resolve

Antes de governar um agente, pergunte se ele deveria existir. No laboratório eu uso uma escada de autonomia que vai do zero (eliminar a etapa, resolver sem IA) ao quatro (agente autônomo, você define o objetivo e o caminho é dele). No meio ficam a automação determinística, o fluxo de regras com IA pontual e o agente de tarefa com passo a passo inspecionável. A regra é curta: entre duas soluções que resolvem a mesma dor, vence a de degrau mais baixo. Custa menos, quebra de jeito previsível e se explica sozinha para qualquer auditor.

A prova está no portfólio. Os portais de regras devolvem cerca de 1.147 horas por mês. O sistema mais sofisticado que operamos, com 13 agentes, devolve 21. A consulta de candidato derrubou um SLA de sete dias para cerca de 15 segundos com fluxo determinístico e IA pontual. Não é agente. Processo de compliance que decide diferente com a mesma entrada não é inovação, é passivo.

Então por que temos um sistema multiagente? Porque ali regra não chega. O agente de respostas a avaliações lida com texto livre, com intenção e emoção diferentes em cada mensagem. Ele se justifica pelo que o painel de horas não captura: reputação, 100% das avaliações respondidas e o laboratório aprendendo a operar o degrau alto com rede de segurança. A frase de bolso: a pergunta nunca é o que a tecnologia consegue fazer. É o que o processo aguenta que ela erre.

Fronteira de autonomia e guardrails

Um agente governável tem autonomia ampla dentro de uma fronteira e nenhuma fora dela. No agente de respostas, o desenho é este:

• A avaliação passa primeiro por guardrails que barram tentativa de manipular o modelo, conteúdo impróprio, dado pessoal e propaganda disfarçada de concorrente.
• Passando, um orquestrador classifica sentimento, intenção (entre onze categorias) e confiança, e roteia para um dos 13 agentes especializados.
• Um agente revisor confere a resposta contra regras escritas da marca: até 350 caracteres, sem emoji, sem link.
• A resposta é publicada, registrada para auditoria e notificada no canal do time.

Três detalhes valem mais que o diagrama. Um agente inteiro trata tentativa de injeção de prompt, com o texto da avaliação tratado como dado não confiável. Outro cuida de mensagens de sofrimento emocional, instruído a acolher e incentivar apoio profissional. Isso é responsabilidade de produto codificada. E quando o conteúdo viola um guardrail, o sistema não publica: desvia para moderação humana.

Guardrail não é um parágrafo no prompt pedindo bom comportamento. É uma etapa do fluxo, com regra checável e rota de saída. A autonomia termina, por desenho, onde o risco começa.

Humano no circuito: onde entra e onde atrapalha

O padrão que mais resolve é o rascunho para revisão: a solução prepara, o humano confirma, a ação sai. O sistema fica com o volume, o humano fica com o carimbo. Para ação irreversível voltada para fora (cliente, dinheiro, dado alterado), isso não é sugestão, é piso.

Mas humano no circuito tem um modo de falha silencioso: a revisão teatral. Quando o revisor aprova 100% do que passa, sem correção, por semanas, uma de duas coisas é verdade. Ou a solução amadureceu e a revisão virou cerimônia, ou o revisor parou de ler e a segurança é de fachada.

As duas se diagnosticam com a taxa de intervenção. Taxa alta indica solução crua. Taxa zero prolongada pede outro desenho: amostragem, alçadas por valor ou aprovação automática com auditoria posterior. Revisão que não intervém não é controle, é fila com crachá.

O humano também precisa estar na posse do risco. Na consulta de candidato, a responsabilidade regulatória continuava do compliance, não importa quem executasse a checagem. Por isso políticas, regras de escalonamento e trilha de auditoria ficaram com a área que carrega o risco. Automação não herda responsabilidade por decreto.

Avaliação antes e depois de ir pro ar

IA é probabilística. A mesma entrada pode gerar saídas diferentes, e "funciona" vira uma taxa. Sem medir, a notícia de que a qualidade caiu chega pela reclamação de um usuário.

A ferramenta que eu uso cabe numa planilha: o conjunto de ouro. Vinte a cinquenta casos reais da operação, cada um com a resposta que um humano competente daria, incluindo de propósito os casos malditos: a exceção, o input mal escrito, a pegadinha que só quem opera conhece. Quem monta é o dono da dor junto com o laboratório. Cada caso registra entrada, comportamento esperado, gravidade da falha, resultado observado e decisão.

A avaliação vira rotina em três momentos:

• Antes de ir para produção: roda os casos e compara com a resposta esperada, com uma rubrica simples de aprovado ou reprovado por critério.
• A cada mudança: prompt ajustado, modelo trocado, fornecedor atualizado por baixo. Roda de novo e compara com a rodada anterior.
• Em produção: uma amostra pequena das execuções reais, revisada por semana com a mesma rubrica, vigia a deriva.

Duas regras impedem o teatro. Primeira: média bonita não revoga evento bloqueador. Acertar 49 de 50 casos não libera nada se o caso que falhou expõe informação sensível ou executa uma ação inaceitável. Segunda: conjunto de ouro não é certificado. Versão nova não ganha passe livre porque resolveu o exemplo que motivou a mudança.

O revisor automático é camada extra. No agente de respostas, ele confere o que dá para checar (tamanho, link, emoji). Julgamento de risco continua tendo rota para humano.

Observabilidade de custo e de valor

Agente em produção consome recurso continuamente. Se ninguém consegue dizer quanto cada solução gasta e em troca de quê, o problema não é financeiro. É falta de clareza.

A plataforma de conteúdo com IA é o caso que me ensinou isso de forma positiva. Cada geração registra prompt, modelo, tokens de entrada e saída, custo em dólar e a combinação exata que a originou. Com isso, deu para reportar: 1.455 gerações de texto, 10,9 milhões de tokens, US$ 46,04 de gasto total com modelos, cerca de US$ 0,03 por texto. Um orçamento com alerta, sem bloqueio automático por padrão, avisa quando o consumo foge da curva.

É o único caso do portfólio que reporta custo por unidade, e é o único que nasceu com o registro embutido. Instrumentar na largada é barato. Reconstruir depois é arqueologia.

O agente de respostas custa cerca de US$ 0,15 por dia em tokens, para o sistema inteiro. Isso não é promessa de que IA sempre será barata. Com alto volume, contexto longo ou muita orquestração, o modelo vira linha material rápido. É prova de que custo se mede por solução, não se imagina por reputação. Por isso, todo consumo de IA no laboratório precisa ter quatro coisas: dono, teto, alerta e valor ao lado. Custo sem valor ao lado é alvo. Valor sem custo ao lado é desconfiança.

O botão de parar precisa existir fora da conversa

Pedir ao agente que "tenha cuidado" não é controle operacional. Funções, permissões e integrações precisam limitar o que ele consegue fazer mesmo quando o prompt falha.

Antes de liberar um agente, eu quero cinco respostas por escrito:

• Qual evento interrompe a execução.
• Quem recebe o alerta.
• Como suspender novas ações.
• Qual processo alternativo fica disponível.
• Quem autoriza a retomada.

Vale também para o consumo: teto de gasto, alerta de anomalia e um interruptor de emergência antes que a fatura vire a pauta mais longa do mês. E vale para a bancada. No laboratório, produção tem agentes de tarefa e fluxos com rastreabilidade, e experimento tem autonomia máxima em problema de brinquedo. Mas autonomia máxima não significa cartão de crédito infinito, dado de produção aberto e permissão para agir em nome da empresa.

Existe um segundo botão, mais lento: o critério de morte. Uma frase, escrita antes de começar, dizendo qual resultado precisa aparecer em quanto tempo e o que acontece se não aparecer. Se o custo de manter supera o do processo manual substituído, desça o degrau ou desligue.

Auditoria periódica e dívida de clonagem

Voltando à cena de abertura. O post-mortem do clone que postou no canal errado é o caso que mais me ensinou sobre governança, justamente porque nada quebrou.

O segundo fluxo do agente de respostas nasceu como clone do primeiro, porque o primeiro funcionava. A auditoria encontrou três resíduos: o link da avaliação apontando para o pacote do aplicativo errado, o caminho manual de reprocessamento usando o endereço do outro aplicativo e as notificações do segundo aplicativo caindo no canal do primeiro.

Nenhum resíduo mexe no coração do sistema. Todos ficam na borda: link, endereço, canal. São os itens que mudam numa clonagem e que um teste do caminho feliz não confere. O monitoramento não pegou porque não havia falha de execução. O errado era para onde as coisas apontavam. Dei nome ao padrão: dívida de clonagem. Laboratório novo não tem o que clonar. Laboratório que deu certo clona justamente porque deu certo.

O antídoto é a auditoria de si mesmo: de tempos em tempos (semestre é uma boa cadência inicial, não um número sagrado), rodar sobre o próprio portfólio o rigor que o laboratório cobra das áreas, de preferência com alguém de fora do núcleo. Cada sinal precisa de exemplo dos últimos noventa dias, dono e prazo. Auditoria sem ação é só um jeito elegante de admirar o problema. Status desse caso: dívida conhecida, listada, com correção pendente.

O painel também precisa prestar contas

A mesma plataforma de conteúdo que eu uso como exemplo de observabilidade de custo tinha um painel de uso que mostrava 12 horas e 50 minutos de tempo economizado. O cálculo correto, ponderado por tipo de peça, dava cerca de 394 horas no período. O post-mortem do painel que mediu errado tem os detalhes, mas o resumo é constrangedor: a conta ignorava as 1.455 gerações de texto, que são o coração do produto, e ainda contava 148 imagens onde o real eram 167.

O erro só apareceu quando fui montar o painel consolidado e os números não bateram. E não, erro a favor da modéstia não é virtude. A conta que erra para menos sem ninguém notar erraria para mais do mesmo jeito.

É tentador desconfiar do número de outra área e confiar no que o próprio laboratório colocou na tela. Se está ali, calculado e atualizado, alguém deve ter conferido. A pergunta que faltou: quem?

A regra que saiu: tratar o painel como mais uma entrega do portfólio. Escolher execuções, refazer a conta fora dele e conferir evento registrado, classificação, tempo atribuído, unidade, período e soma. Para agentes, vale em dobro: a métrica que diz que o agente vai bem é parte do sistema e precisa da mesma auditoria.

Risco de fornecedor: quando o chão muda de lugar

Todo agente roda em chão de terceiros. Sem você mexer em nada, o modelo muda por baixo, o preço muda e a conta deixa de fechar, ou a ferramenta morre e leva o fluxo junto. As defesas são quatro, baratas perto do estrago:

• Conjunto de ouro como detector: rodado a cada suspeita e a cada atualização anunciada.
• Troca de modelo como configuração: prompt e lógica separados do fornecedor.
• Alternativa ensaiada: um fornecedor alternativo testado na bancada para as soluções críticas.
• Saída dos dados: saber, antes de depender, como os dados saem se a ferramenta morrer.

Nada disso elimina o risco, só transforma catástrofe em inconveniente. Dependência administrada é estratégia. Dependência ignorada é um incidente esperando a vez dele.

Checklist de bolso

• A dor está posicionada na escada, com registro de por que o degrau de baixo não bastava.
• Guardrails são etapas do fluxo com regra checável, não pedidos no prompt.
• Texto do usuário é tratado como dado não confiável.
• Violação de guardrail não publica e vai para humano.
• Ação irreversível voltada para fora tem confirmação humana.
• A taxa de intervenção do revisor é medida.
• Existe um conjunto de ouro de vinte a cinquenta casos reais, com casos malditos.
• Falha bloqueadora trava a liberação mesmo com média alta.
• O conjunto roda antes do ar, a cada mudança e em amostra semanal.
• Cada execução registra modelo, tokens, custo e contexto.
• O consumo tem dono, teto, alerta e valor ao lado.
• A ficha de liberação diz quem para, quem é avisado, como suspender, o plano alternativo e quem retoma.
• Clones têm os itens específicos (links, identificadores, canais) auditados.
• O painel de valor é recalculado por fora, com dono.

Perguntas frequentes

Quando vale usar um agente de IA em vez de automação?

Quando a regra não chega: texto livre, intenção variável e erro contornável. Se uma regra ou um fluxo com IA pontual resolve a mesma dor, vence o degrau mais baixo, que custa menos e é mais fácil de auditar.

O que é um conjunto de ouro na avaliação de IA?

Uma coleção de vinte a cinquenta casos reais com resposta esperada e gravidade da falha, montada pelo dono da dor com o time técnico. Roda antes de ir para produção, a cada mudança de prompt ou modelo e em amostras de produção.

Humano no circuito é sempre mais seguro?

Não. Revisor que aprova tudo por semanas virou cerimônia ou parou de ler. A taxa de intervenção diagnostica isso, e taxa zero prolongada pede amostragem, alçadas por valor ou auditoria posterior.

O que é um botão de parar fora da conversa?

Um controle que não depende do prompt: permissões e integrações que limitam o agente mesmo quando o modelo erra, mais uma ficha dizendo o que interrompe, quem é alertado, como suspender, qual o plano alternativo e quem autoriza a retomada.

Como medir o custo de um agente de IA em produção?

Registrando cada execução desde o primeiro dia: prompt, modelo, tokens de entrada e saída, custo e contexto. Isso dá custo por unidade e permite teto e alerta por solução.

O que é dívida de clonagem?

Configuração herdada que um fluxo clonado carrega da origem e ninguém revisa porque tudo funciona. Mora na borda (links, identificadores, canais) e só aparece em auditoria feita de propósito.

Por que auditar o próprio painel de métricas?

Porque número na tela parece conferido mesmo quando ninguém conferiu. A saída é recalcular por fora: evento, classificação, tempo atribuído, unidade, período e soma.

Para continuar

Os números de todas as iniciativas, com os asteriscos, estão no Painel do Lab. O método completo, da escada de autonomia à auditoria de si mesmo, está no livro. As fichas e os checklists para usar amanhã estão no Kit de Campo. E sobre a governança econômica de agentes, eu escrevo em Agent Chaos.