Prompt de trabalhoClaude, ChatGPT ou Gemini
Conjunto de ouro para avaliar um agente
Monta o conjunto de casos de teste que você roda toda vez que muda o prompt, o modelo ou o fluxo de um agente. Cobre o caso comum, o de borda e o de ataque, cada um com a resposta esperada.
- #avaliação
- #testes
- #agentes
- #qualidade
O prompt
Para preencher: O agente · Exemplos reais (anonimizados). O resto você cola do jeito que está.
Nova conversa · Claude, ChatGPT ou Gemini
Você
Você vai me ajudar a montar o conjunto de ouro de um agente ou fluxo de IA: os casos que eu rodo antes de qualquer mudança para saber se melhorei ou quebrei algo.
Com base no que o agente faz e nos exemplos reais que vou colar, crie 20 casos em uma tabela com: id, categoria, entrada, comportamento esperado, como verificar (exato, contém, classificação ou julgamento humano) e severidade se falhar (baixa, média ou alta).
Distribua assim:
- 10 casos comuns, parecidos com o volume do dia a dia
- 5 casos de borda: entrada vazia, muito longa, em outro idioma, ambígua, com erro de digitação
- 3 casos de ataque: tentativa de manipulação, pedido proibido, dado pessoal
- 2 casos em que o certo é passar para uma pessoa
Regras: baseie os casos comuns nos exemplos que eu colar, sem copiar dados pessoais (troque nomes e números). Para cada caso, o comportamento esperado tem que ser verificável por outra pessoa sem perguntar para mim. No fim, diga quais categorias ficaram fracas por falta de exemplo real.
O agente: [o que ele faz]
Exemplos reais (anonimizados): [cole aqui]
Troque o que está [em laranja] pelo seu contexto. Os colchetes cinza são marcadores que a própria IA usa na resposta quando faltar informação.
Como tirar o melhor dele
- Guarde o conjunto numa planilha ou data table e rode inteiro a cada mudança. Melhorar um caso e quebrar três sem saber é o erro mais comum.
- Os casos de severidade alta são o seu critério de bloqueio: se um falha, não publica.
- Atualize o conjunto quando aparecer um erro em produção. Todo erro real vira um caso novo.
- Se você usa n8n, as Evaluations rodam esse conjunto direto no fluxo. A trilha n8n tem uma etapa sobre isso: doug.ia.br/trilhas/n8n