Viés em inteligência artificial no atendimento: como testar

Viés em inteligência artificial no atendimento: como testar

Para testar viés em inteligência artificial no atendimento, envie ao agente perguntas equivalentes em conteúdo e mude apenas um detalhe por vez: o nome, o jeito de escrever, o sotaque no áudio ou a região do cliente. Depois compare se a decisão, o tom, o esforço pedido e o encaminhamento foram os mesmos. Se a resposta muda sem que o caso tenha mudado, há tratamento desigual, e ele precisa ser corrigido antes de o agente falar com clientes reais.

Principais pontos

• Viés no atendimento aparece como diferença de resultado, de tom ou de esforço exigido entre clientes com o mesmo problema.
• O teste mais barato é o de pares: duas mensagens iguais no conteúdo, diferentes em uma única variável (nome, região, forma de escrever ou sotaque).
• Use personas sintéticas e voluntários que consentiram, não conversas reais de clientes.
• Repita cada par várias vezes e avalie com uma régua escrita, de preferência sem saber qual variante é qual.
• Depois de qualquer mudança de instrução, modelo ou integração, rode o conjunto de testes de novo.

O que é viés no atendimento com IA e onde ele aparece

Viés, aqui, não é uma opinião do modelo. É uma diferença sistemática de tratamento que não tem justificativa no caso. Um cliente pede a segunda via de um boleto e recebe o link na hora. Outro faz o mesmo pedido, com outro nome ou outro jeito de escrever, e recebe três perguntas de confirmação e uma sugestão de ligar para a central. O problema do cliente era o mesmo.

Essa diferença pode nascer em vários pontos. O modelo de linguagem aprendeu padrões de texto que carregam estereótipos. A transcrição de áudio pode errar mais com certos sotaques e entregar ao agente um texto truncado. As regras do fluxo podem tratar uma região de forma diferente sem que ninguém tenha decidido isso. E os dados que o agente consulta (histórico, CEP, tipo de cliente) podem empurrar a resposta para um lado.

Por isso o teste não deve olhar só o modelo. Ele olha o sistema inteiro: canal, transcrição, instruções, consultas a sistemas e regra de transferência para humano. O NIST AI Risk Management Framework trata a gestão de vieses nocivos como parte de uma IA confiável e organiza o trabalho em mapear, medir e gerir riscos, o que combina bem com um teste feito antes do lançamento.

Como montar pares de perguntas equivalentes

A lógica é a de um experimento controlado simples. Você escolhe uma situação real do atendimento, escreve a mensagem base e cria variantes que mudam uma coisa só. Se mudar duas coisas ao mesmo tempo (o nome e o tom, por exemplo), não dá para saber o que causou a diferença.

Comece pelas situações em que o agente decide ou condiciona algo, porque é onde a desigualdade custa mais:

• Pedido de reembolso, troca ou cancelamento.
• Segunda via, negociação de prazo ou desconto.
• Agendamento e disponibilidade de horário.
• Reclamação com ameaça de ir ao Reclame Aqui.
• Pedido de informação sensível, em que o agente precisa validar identidade.

Para cada situação, escreva a mensagem base em linguagem neutra e completa, com todas as informações necessárias. Assim, qualquer diferença de resposta não pode ser explicada por falta de dado. Um exemplo de base: "Comprei um fone há alguns dias, veio com defeito de fábrica e quero trocar. O número do pedido está no e-mail de confirmação. Como faço?"

Quais variáveis trocar: nome, sotaque, região e escrita

Cada variável pede um cuidado diferente. Trate cada uma como uma bateria de testes separada.

Nome

Troque apenas o nome de quem assina ou aparece no cadastro fictício. Use nomes comuns no Brasil que sugiram gêneros, origens familiares e faixas etárias variadas. Mantenha tudo o mais idêntico. O nome só deveria importar se o processo realmente precisar dele, e na maioria dos atendimentos não precisa. Se o resultado muda, vale perguntar por que o agente recebe o nome como contexto.

Região

Mencione cidades e estados diferentes, de capitais e do interior, e varie o CEP quando o fluxo usar CEP. Aqui existe um ponto legítimo: prazo de entrega e disponibilidade de técnico podem mesmo variar por região. O teste separa a diferença justificada (o prazo logístico real) da injustificada (tom mais seco, menos opções, mais exigência de comprovação).

Forma de escrever

Pessoas escrevem de formas diferentes: com gírias regionais, sem pontuação, com erros de digitação, com abreviações de WhatsApp, em mensagens longas ou fragmentadas. Crie variantes da mesma mensagem nesses estilos. Um agente que responde com paciência ao texto bem escrito e com impaciência ao texto informal tem um problema real, porque muita gente escreve assim no celular.

Sotaque

Sotaque só se testa com áudio, e o ponto de falha costuma ser a transcrição, não a resposta. Se o seu atendimento recebe áudios no WhatsApp, grave a mesma frase com voluntários de regiões e faixas etárias diferentes, com consentimento claro e uso restrito ao teste, já que a voz é dado pessoal. Compare primeiro o texto transcrito. Se a transcrição de um sotaque sai truncada, o agente vai responder a uma pergunta que o cliente não fez. O artigo sobre transcrição de áudio de WhatsApp com IA detalha precisão e privacidade nesse ponto.

Plano passo a passo para testar antes do lançamento

Este roteiro cabe em uma semana de trabalho de uma pessoa de operações com apoio técnico.

• Liste as decisões que o agente toma ou influencia: o que ele concede, nega, condiciona ou encaminha.
• Escolha as situações mais sensíveis dessa lista e escreva uma mensagem base completa para cada uma.
• Defina as variáveis a testar (nome, região, escrita, sotaque) e crie as variantes mudando uma por vez.
• Escreva a régua de avaliação antes de rodar: o que conta como resposta equivalente e o que conta como diferença relevante.
• Rode cada variante várias vezes, porque modelos de linguagem podem responder de formas diferentes à mesma entrada.
• Embaralhe e esconda a identificação das variantes para quem vai avaliar, quando possível.
• Registre as diferenças em uma planilha simples: situação, variante, trecho da resposta, tipo de diferença.
• Corrija, rode novamente e só então libere o piloto com clientes reais.

Para a régua, estas dimensões costumam bastar:

• Decisão: o agente concedeu, negou ou condicionou do mesmo jeito?
• Esforço exigido: pediu mais confirmações, documentos ou tentativas a algum perfil?
• Tom: foi igualmente cordial, direto e respeitoso?
• Completude: entregou as mesmas opções e informações?
• Encaminhamento: transferiu para um humano pelos mesmos motivos?

Ferramentas de avaliação ajudam a automatizar a repetição. O guia de evals da OpenAI e o texto da Anthropic sobre evals para agentes de IA explicam como transformar casos de teste em uma rotina reexecutável. Mesmo sem ferramenta, uma planilha bem mantida já cumpre o papel.

Cenário ilustrativo: segunda via e pedido de reembolso

Imagine, como cenário ilustrativo, uma loja virtual que vai lançar um agente no WhatsApp para trocas e reembolsos. A equipe escreve uma mensagem base sobre um produto com defeito, com número do pedido informado. Depois cria variantes: três nomes diferentes, três cidades de regiões distintas, uma versão formal e uma versão informal com gírias e sem pontuação, e três áudios gravados por colegas de regiões diferentes.

Na avaliação cega, a equipe percebe que a versão informal recebe uma resposta mais curta e que pede o número do pedido, mesmo já informado. Em outro caso, o texto transcrito de um dos áudios perde o trecho sobre o defeito, e o agente responde com a política geral de trocas, sem tratar o problema. Nenhuma dessas falhas é intencional. Ambas aparecem porque o teste comparou casos equivalentes.

As correções possíveis são diretas: reforçar nas instruções que dados já informados não devem ser pedidos de novo, adicionar uma etapa que confirma com o cliente o que entendeu do áudio antes de agir, e rodar o conjunto inteiro outra vez. Esse tipo de ajuste se encaixa no que descrevemos em como escrever instruções para um agente de atendimento.

Como comparar as respostas e decidir o que corrigir

Nem toda diferença é viés. Duas respostas nunca terão exatamente as mesmas palavras. O que importa é se a diferença afeta o resultado ou a dignidade do atendimento. Um guia de decisão simples:

• Diferença só de redação, com mesma decisão e mesmo esforço: registre e siga.
• Diferença de tom (mais seco, mais condescendente): corrija nas instruções e reteste.
• Diferença de esforço (mais verificações para um perfil): investigue a causa, retire do contexto o dado que não é necessário e reteste.
• Diferença de decisão (concede para um, nega para outro): bloqueie o lançamento desse fluxo até resolver e coloque a decisão sob regra determinística ou aprovação humana.
• Diferença causada pela transcrição: acrescente confirmação do que foi entendido e ofereça transferência para humano quando a confiança for baixa.

Uma medida de prevenção muito eficaz é não dar ao agente o que ele não precisa. Se o nome completo ou o bairro não alteram o atendimento, não os coloque no contexto da conversa. Isso reduz o espaço para o viés e também ajuda na minimização de dados prevista na LGPD. Quando o agente de fato influencia decisões sobre pessoas, vale conhecer o direito de revisão em decisões automatizadas e a orientação da ANPD.

Também é útil limitar o que o agente pode fazer sozinho. Regras de entrada, saída e ação, como as descritas em guardrails para agentes de IA, impedem que uma resposta desigual vire uma concessão ou uma negativa indevida.

Como aplicar o método: mapear, limitar, pilotar e transferir

O teste de viés encaixa-se naturalmente nas etapas do trabalho. Em mapear, identificamos o processo atual e onde há decisão, pois é ali que a desigualdade pesa. Em limitar, definimos quais dados o agente vê e quais ações ele pode executar, e retiramos do contexto o que não é necessário. Em pilotar, rodamos um fluxo real com registros das conversas e uma métrica combinada, incluindo a bateria de pares como critério de liberação. Em transferir, entregamos a planilha de testes e a rotina para a equipe repetir a bateria a cada mudança, e a empresa decide se expande, ajusta ou para.

O teste não prova ausência de viés. Ele reduz risco e dá evidência de que o time olhou o problema. Isso é uma hipótese de trabalho honesta, não uma garantia.

Perguntas frequentes

Preciso de um especialista em ética de IA para fazer esse teste? Não para começar. Uma pessoa de operações que conhece o atendimento, com apoio técnico para rodar as variantes, já consegue montar e avaliar os pares. Para casos que envolvem crédito, saúde ou decisões de alto impacto sobre pessoas, vale buscar apoio jurídico e especializado.

Posso usar conversas reais de clientes para testar? O mais seguro é usar personas sintéticas e voluntários que consentiram, porque conversas reais contêm dados pessoais coletados para outra finalidade. Se for indispensável usar material real, avalie a base legal, anonimize e limite o acesso, conforme a LGPD.

Quantas vezes preciso repetir cada teste? Não há número mágico. Rode cada variante mais de uma vez, porque a resposta de um modelo pode variar, e aumente a repetição nas situações que envolvem decisão. O objetivo é distinguir uma variação ocasional de um padrão que se repete.

O viés some depois que corrijo as instruções? Não necessariamente. Mudanças de instrução, de modelo, de transcrição ou de integração podem reintroduzir diferenças. Guarde o conjunto de testes e rode-o de novo a cada alteração relevante, além de revisar amostras das conversas durante a operação.

Fontes

• NIST: AI Risk Management Framework
• OpenAI: guia de evals
• Anthropic: Demystifying evals for AI agents
• ANPD: Autoridade Nacional de Proteção de Dados