LLM como juiz: como avaliar respostas de agentes com método
Quando usar um modelo para avaliar outro, quais vieses esperar e como calibrar o juiz com amostras revisadas por pessoas antes de confiar na nota.
Quer aplicar isso na sua empresa?
Agendar conversa com o Juan →LLM como juiz: como avaliar respostas de agentes com método
LLM como juiz é usar um modelo de linguagem para dar nota ou classificar as respostas de outro modelo ou agente, seguindo uma rubrica escrita. Funciona bem para critérios que regras simples não capturam, como tom, completude e fidelidade ao contexto, desde que o juiz seja calibrado contra amostras revisadas por pessoas e não decida sozinho nada que envolva risco.
Principais pontos
- O juiz automático serve para ampliar a cobertura da avaliação, não para substituir a revisão humana. Pessoas definem o que é uma boa resposta, o modelo aplica o critério em volume.
- Um juiz sem calibração é uma opinião com aparência de métrica. A concordância com revisores humanos precisa ser medida antes de a nota virar indicador.
- Os vieses são previsíveis: preferência por respostas longas, pela primeira opção apresentada e pelo estilo do próprio modelo. Dá para testar cada um no seu caso.
- Critérios objetivos (o agente chamou a ferramenta certa, o valor bate com o sistema) devem ser checados por código, não por modelo.
- A calibração é contínua: a amostra humana volta periodicamente para detectar desvio do juiz, do agente ou do tipo de pergunta dos clientes.
O que é LLM como juiz e o que ele avalia
Na prática, o juiz recebe quatro coisas: a pergunta do cliente, a resposta do agente, o contexto que o agente tinha (política da empresa, dados do pedido, trecho de documento) e uma rubrica. Ele devolve uma nota ou um veredito por critério, com uma justificativa curta. Essa saída é gravada junto ao registro da conversa.
O valor está em avaliar o que é difícil de escrever como regra. Uma resposta pode estar correta e mesmo assim ser seca demais para um cliente irritado. Pode citar uma política que não existe. Pode prometer um prazo que ninguém autorizou. Verificar isso lendo conversa por conversa não escala, e regras de texto simples não pegam esses casos.
O que o juiz não deve avaliar sozinho: fatos que existem em um sistema. Se o agente disse que o pedido foi enviado, o código consulta o ERP e confere. Se o agente deveria ter transferido para uma pessoa, o log mostra se a transferência ocorreu. Usar modelo para o que é verificável por código acrescenta custo e erro sem ganho.
A documentação de avaliação de agentes da Anthropic e o guia de evals da OpenAI tratam essa divisão de forma parecida: combinar verificações determinísticas com avaliadores baseados em modelo e com revisão humana, cada um onde faz mais sentido. Os links estão na seção de fontes ao final.
Quando faz sentido usar um modelo para avaliar outro
Use o juiz quando o critério é qualitativo, o volume de conversas passa do que a equipe consegue ler e existe uma definição escrita do que é aceitável. Sem essa definição, nem pessoas concordam entre si, e o modelo só herdará a confusão.
Sinais de que o juiz ajuda:
- O critério depende de interpretação: tom adequado, clareza, fidelidade a um documento, aderência a uma política.
- Há volume suficiente para que a leitura manual de tudo seja inviável, mas uma amostra pequena pode ser revisada por pessoas.
- Você precisa comparar versões do agente (novo prompt, novo modelo, nova base de conhecimento) antes de publicar a mudança.
- A equipe consegue explicar, em frases, o que separa uma resposta boa de uma ruim.
Sinais de que não ajuda, ou que ajuda pouco:
- O critério é verificável por código ou consulta a sistema. Nesse caso, escreva o teste.
- A decisão tem consequência alta, como cobrança, cancelamento, diagnóstico ou promessa contratual. Aqui a revisão humana é obrigatória, e o juiz no máximo ajuda a priorizar o que revisar.
- Não existe amostra rotulada por pessoas. Sem ela, não há como saber se a nota do juiz significa algo.
- O time espera que a nota do juiz seja a verdade final. Ela é uma estimativa, com margem de erro que precisa ser conhecida.
Para decidir qual modelo usar como juiz, vale lembrar que ele não precisa ser o mesmo do agente, e muitas vezes não deve ser (veremos o motivo na seção de vieses). Um comparativo prático de modelos em um conjunto de tarefas reais, no espírito do que descrevemos em Kimi K2.5 vs Claude Opus 4.5, também funciona para escolher o juiz: teste nos seus casos, não em tabelas de terceiros.
Quais vieses o juiz tem e como testá-los
Os vieses abaixo são descritos com frequência em material técnico sobre avaliação com modelos. Trate-os como hipóteses a verificar na sua operação, não como fatos sobre todo modelo e toda tarefa. A boa notícia é que cada um tem um teste barato.
- Viés de tamanho: o juiz tende a favorecer respostas mais longas e detalhadas, mesmo quando a curta resolve melhor. Teste: reescreva respostas boas de forma mais enxuta e veja se a nota cai sem motivo.
- Viés de posição: em comparações entre duas respostas, a que aparece primeiro pode ganhar mais vezes. Teste: inverta a ordem e compare os resultados. Se o veredito muda, a comparação não é confiável.
- Preferência pelo próprio estilo: um modelo pode avaliar melhor o texto que se parece com o que ele mesmo escreveria. Teste: use um juiz de família diferente da do agente e compare as notas contra a amostra humana.
- Viés de autoridade e formato: respostas com tom confiante, listas e termos técnicos podem parecer melhores do que são. Teste: inclua na amostra respostas bem formatadas mas erradas e veja se o juiz as pune.
- Indulgência: o juiz costuma dar notas altas demais para respostas medianas, o que esconde regressões. Teste: confira se a distribuição de notas usa a escala inteira ou se concentra no topo.
- Sensibilidade à redação da rubrica: pequenas mudanças no prompt do juiz alteram as notas. Teste: rode a mesma amostra com duas redações equivalentes e meça a diferença.
Um risco adicional é de segurança. O juiz lê texto escrito por clientes e pelo agente, e esse texto pode conter instruções disfarçadas, como pedir que a nota máxima seja dada. Separe claramente, no prompt, o que é rubrica e o que é conteúdo avaliado, e trate o conteúdo como dado, não como ordem. O guia da OWASP sobre prevenção de prompt injection descreve práticas de mitigação que se aplicam também a esse caso.
Como calibrar o juiz com amostras revisadas por pessoas
Calibrar é medir o quanto o juiz concorda com pessoas que conhecem o negócio e ajustar a rubrica até que a concordância seja aceitável para o uso pretendido. Um passo a passo que funciona para a maioria das operações:
- Passo 1, definir critérios: escreva de três a cinco critérios independentes, cada um com uma pergunta objetiva. Exemplo: a resposta usa apenas informação presente no contexto? O próximo passo para o cliente está claro? O agente transferiu quando a política exigia?
- Passo 2, montar a amostra: colete conversas reais, incluindo casos fáceis, difíceis, reclamações e situações em que o agente deveria recusar ou transferir. Não selecione só as boas. Antes de qualquer revisão, remova ou mascare dados pessoais que não sejam necessários, em linha com o princípio de minimização da LGPD.
- Passo 3, rotular com duas pessoas: dois revisores avaliam a mesma amostra com a mesma rubrica, sem ver a nota do juiz. Onde discordam entre si, discuta e ajuste a rubrica. Se humanos não concordam, o critério está mal definido.
- Passo 4, rodar o juiz: aplique o juiz à mesma amostra e compare com o consenso humano, critério por critério. Olhe os erros, não só a média: quais casos ele aprova e as pessoas reprovam, e o contrário.
- Passo 5, corrigir e repetir: ajuste a rubrica, acrescente exemplos de nota baixa e de nota alta, peça justificativa antes da nota, e rode de novo. Guarde parte da amostra fora do ajuste, para não calibrar apenas para os casos que você já viu.
- Passo 6, definir o uso permitido: com a concordância medida, decida o que a nota pode fazer. Por exemplo, comparar versões do agente e priorizar conversas para revisão sim, bloquear uma resposta ou punir um atendente não.
- Passo 7, recalibrar periodicamente: sorteie novas conversas para revisão humana em ritmo fixo. Se a concordância cair, algo mudou: o agente, o público, os produtos ou o próprio juiz.
Ao medir concordância, desconfie de uma taxa alta quando quase tudo na amostra é fácil. A amostra precisa conter casos de fronteira, porque é neles que o juiz erra e que o negócio perde.
Cenário ilustrativo: agente de agendamento no WhatsApp
Imagine, como exemplo, uma clínica que usa um agente no WhatsApp para marcar, remarcar e cancelar consultas, conforme descrevemos em agendamento automático no WhatsApp com IA. A equipe quer saber se uma mudança no prompt melhorou ou piorou o atendimento.
Primeiro, separam o que é checável por código: o horário confirmado existe na agenda, o paciente e o profissional estão corretos, nenhum horário foi duplicado. Isso vira teste automatizado, sem modelo.
Depois, listam o que depende de julgamento: a resposta foi cordial com quem estava com pressa, o agente evitou orientações clínicas que não lhe cabem, a recusa foi clara quando o pedido fugia do escopo, e a transferência para a recepção ocorreu quando o paciente insistiu ou demonstrou desconforto. Esses quatro critérios entram na rubrica do juiz.
A recepção revisa uma amostra de conversas reais, mascaradas, e compara com as notas do juiz. Ela descobre que o juiz aprova respostas longas demais e é leniente com orientações que soam clínicas. A equipe acrescenta à rubrica exemplos de orientação indevida, pede ao juiz que cite o trecho problemático e passa a usar um modelo de família diferente da do agente. Repete a comparação. Só então a nota passa a ser usada para comparar versões do prompt, sempre com um conjunto de conversas de fronteira revisado por pessoas antes de qualquer publicação.
Note o que a nota não faz neste exemplo: não cancela consulta, não penaliza ninguém e não substitui o fluxo de transbordo humano. Ela orienta onde olhar.
Como escrever a rubrica e o prompt do juiz
A qualidade do juiz depende mais da rubrica do que do modelo. Algumas práticas que reduzem ruído:
- Um critério por pergunta. Pedir uma nota única para qualidade geral mistura coisas e esconde a causa do problema.
- Escalas curtas com definição. Um veredito de aprovado, reprovado ou parcial, com a descrição de cada um, costuma ser mais estável que uma escala longa e vaga.
- Exemplos reais de cada nível, incluindo casos limítrofes, tirados da amostra revisada pelas pessoas.
- Justificativa antes do veredito, para que a nota seja consequência de uma análise e não um palpite.
- Contexto completo. O juiz só consegue avaliar fidelidade se vir os mesmos documentos e dados que o agente viu.
- Saída estruturada, para que a nota possa ser gravada, agregada e auditada.
- Permissão para dizer que não sabe. Um juiz forçado a decidir sempre inventa certeza.
Guarde a versão da rubrica e a do modelo juiz junto a cada nota. Quando uma métrica mudar de repente, você precisa saber se foi o agente que mudou ou o instrumento de medida.
Como isso entra no método: mapear, limitar, pilotar, transferir
O juiz automático é uma peça do piloto, não o piloto inteiro. No método que usamos, o primeiro passo é mapear o processo atual e a linha de base: como a qualidade é avaliada hoje, quem revisa, quais erros custam mais. Em seguida, limitar: definir que dados o juiz pode ver, que ações a nota pode disparar (idealmente nenhuma automática no início) e quando a revisão humana é obrigatória.
No piloto, escolhe-se um fluxo real, com registros e uma métrica de sucesso combinada, e o juiz entra já calibrado contra a amostra humana. Para definir esses critérios de forma explícita, o modelo de plano piloto de IA e o texto sobre como medir um piloto de automação com IA ajudam a registrar o que será medido e quando parar. Na transferência, a empresa recebe a rubrica, a amostra rotulada, a rotina de recalibração e a regra de quem responde quando a concordância cair, para decidir se expande, ajusta ou encerra.
Perguntas frequentes
O LLM como juiz pode substituir a revisão humana? Não. Ele amplia a cobertura e permite comparar versões com rapidez, mas a referência de qualidade continua sendo o julgamento de pessoas que conhecem o negócio. A revisão humana por amostragem deve continuar existindo, principalmente para casos de risco.
Preciso usar um modelo mais forte como juiz do que o do agente? Não necessariamente, e o que importa é a concordância medida com revisores humanos. Um juiz de família diferente da do agente ajuda a reduzir a preferência pelo próprio estilo. Teste mais de uma opção na mesma amostra revisada e escolha pelo resultado, considerando também o custo de rodar em volume.
Quanta concordância com humanos é suficiente? Depende do uso. Para priorizar conversas a revisar ou comparar versões, uma concordância moderada pode servir, desde que os erros não se concentrem nos casos graves. Para qualquer decisão automática com impacto no cliente, o juiz sozinho não é suficiente, e a decisão deve passar por aprovação humana.
Posso enviar conversas reais de clientes para um modelo avaliar? Só com cuidado. Conversas contêm dados pessoais, então aplique minimização, mascaramento do que não é necessário, base legal adequada e registro do tratamento, conforme a LGPD. Confira também onde o provedor do modelo processa e guarda os dados, e consulte o jurídico ou o encarregado de dados antes de ampliar o uso.