O que fazer quando a IA erra com cliente: plano de resposta

O que fazer quando a IA erra com cliente: plano de resposta

Quando a IA erra com um cliente, a ordem certa é: conter o erro, corrigir o que o cliente sofreu, comunicar com clareza e só então investigar a causa e ajustar o sistema. Quem começa pelo diagnóstico técnico deixa o cliente esperando e o erro se repetindo. Este artigo descreve um plano de resposta que a empresa pode escrever antes de precisar dele.

Principais pontos

• Contenha primeiro: pause a ação ou o fluxo que está errando, não o atendimento inteiro.
• Corrija o efeito no cliente antes de investigar a causa: desfaça a ação, cumpra o que era devido e peça desculpas de forma objetiva.
• Comunique em linguagem simples: o que aconteceu, o que já foi feito e quem é a pessoa responsável pelo caso.
• Registre tudo. Sem log da conversa, da decisão e das ferramentas chamadas, a revisão vira opinião.
• Depois do erro, mude o sistema (limite, regra, teste, permissão), não apenas o texto do prompt.

Por que escrever o plano antes do erro acontecer?

Todo agente de IA em produção vai errar em algum momento. Pode ser uma resposta inventada, uma política desatualizada, uma ação executada no sistema errado ou uma mensagem enviada à pessoa errada. A diferença entre um incidente pequeno e um problema de reputação costuma estar no que a equipe faz nas primeiras horas, e improvisar sob pressão produz decisões ruins.

Um plano de resposta não precisa ser longo. Precisa responder a poucas perguntas, por escrito, com nomes e canais:

• Quem é o dono do incidente e quem o substitui quando ele não está disponível?
• Quem tem autoridade para pausar o agente ou uma ferramenta específica, e como isso é feito?
• Quem decide compensação, reembolso ou exceção para o cliente afetado?
• Onde ficam os registros das conversas e das ações do agente?
• Quem fala com o cliente e com que texto-base?

Defina também uma classificação simples de gravidade, baseada na consequência e não na causa técnica. Um erro leve é uma informação imprecisa sem dano. Um erro médio gera retrabalho ou frustração concreta. Um erro grave envolve dinheiro, dado pessoal, saúde, segurança ou uma promessa que a empresa não pode cumprir. A gravidade define quem entra na sala e com que urgência.

O que o agente pode ou não fazer sozinho já deveria estar decidido antes. Se essa fronteira ainda é vaga na sua empresa, vale ler o que não delegar para inteligência artificial antes de escrever o plano.

Como conter o erro sem derrubar todo o atendimento?

Conter significa impedir que o erro continue acontecendo. O erro é quase sempre local: um tema, uma ferramenta, um tipo de mensagem. Desligar tudo pune clientes que estavam sendo bem atendidos, e não desligar nada deixa o problema crescer. Por isso o plano precisa de interruptores pequenos, criados antes do incidente.

Use este guia de decisão como ponto de partida:

• Resposta errada de informação, sem ação no sistema: bloqueie o tema ou o trecho da base de conhecimento envolvido e encaminhe esse assunto para uma pessoa até a correção.
• Ação errada em sistema (cancelou, alterou, reembolsou, enviou): revogue a permissão de escrita daquela ferramenta e deixe o agente em modo somente leitura.
• Mensagem enviada à pessoa errada ou com dado pessoal exposto: pause os envios automáticos e acione quem responde por dados pessoais na empresa.
• Mesmo erro aparecendo para vários clientes: coloque o fluxo inteiro em transferência para humano até entender o padrão.
• Promessa fora da política, tom inadequado ou comportamento ofensivo: pause o agente nesse tema e revise as instruções e os limites de saída.

Depois de acionar o interruptor, preserve as evidências antes de mexer em qualquer coisa. Exporte a conversa, as chamadas de ferramenta, a versão das instruções e da base de conhecimento que estavam ativas. Se você corrigir primeiro e coletar depois, perde a chance de entender o que realmente aconteceu.

Quem opera o agente precisa conseguir pausar sem abrir um chamado para a equipe técnica. Em atendimento por WhatsApp, isso costuma significar uma chave simples que desvia a conversa para a fila humana. Para a lógica de validação de entrada, saída e ação que reduz a chance de o erro chegar ao cliente, veja guardrails em agentes de IA.

Como corrigir o que o cliente sofreu?

A correção é sobre o cliente, não sobre o modelo. Enquanto a causa técnica não é conhecida, a empresa já pode resolver o problema real da pessoa. Um roteiro prático:

• Identifique todos os afetados. Busque nos registros outras conversas com a mesma situação, o mesmo tema ou a mesma ferramenta no período do erro. O cliente que reclamou raramente é o único.
• Desfaça o que for desfazível: cancele a ação indevida, reenvie a informação correta, restaure o cadastro, reabra o pedido.
• Decida o que a empresa vai cumprir. Se o agente prometeu algo, uma pessoa com alçada avalia se a promessa será honrada, ajustada ou recusada. Em muitos casos o que o atendimento afirma ao consumidor pode ser tratado como compromisso da empresa, então vale alinhar esse ponto com o jurídico antes de definir a regra geral.
• Defina a compensação com critério humano. Brinde, desconto, prioridade ou simples correção é decisão de gente, não do agente que errou.
• Faça o caso ser conduzido por uma pessoa nomeada. O cliente precisa saber com quem falar.

Um erro comum é pedir ao próprio agente que conserte a situação. Se ele errou por falta de contexto ou de limite, tende a errar de novo no remédio. Durante o incidente, trate o caso por canal humano.

O que dizer ao cliente, e como?

O cliente quer três coisas: saber o que aconteceu, saber que está resolvido ou em resolução e ter uma pessoa a quem recorrer. Evite jargão sobre modelos e alucinações. Evite também esconder que foi um sistema automatizado quando isso for relevante para o caso. Transparência simples gera mais confiança do que uma explicação vaga.

Uma estrutura que funciona:

• Reconheça o erro sem rodeios.
• Diga o efeito para o cliente em uma frase.
• Diga o que já foi feito e o que acontece a seguir.
• Indique a pessoa responsável e o canal.
• Só então peça desculpas e, se for o caso, informe a compensação.

Exemplo de mensagem curta para WhatsApp:

Olá, aqui é a Marina, da equipe de atendimento. Nosso assistente automático lhe passou uma informação incorreta sobre o seu pedido. Já corrigi o registro e vou acompanhar o caso pessoalmente até a conclusão. Peço desculpas pelo transtorno.

Cenário ilustrativo: uma empresa de serviços técnicos usa um agente no WhatsApp para confirmar visitas. Por uma falha na leitura da agenda, o agente confirma para um cliente um horário que não existe. O cliente se organiza para estar em casa e ninguém aparece. Ao receber a reclamação, a equipe pausa a confirmação automática de horários e mantém o restante do atendimento. Em seguida, busca nos registros outras confirmações do mesmo período e encontra clientes na mesma situação. Uma atendente liga para cada um, remarca com prioridade e informa o que houve. Só depois a equipe técnica investiga a leitura da agenda. O cliente recebeu a solução antes da explicação técnica, e é essa a ordem que o plano deve garantir. Para o desenho desse tipo de fluxo, veja agendamento automático no WhatsApp com IA.

Duas armadilhas: culpar a tecnologia (para o cliente, a empresa é uma só) e prometer que isso nunca mais acontecerá. Prometa o que a empresa controla: correção do caso, acompanhamento e revisão do processo.

E se o erro envolveu dados pessoais?

Se a falha expôs dados pessoais, por exemplo uma mensagem enviada a outra pessoa, uma resposta com informações de terceiro ou um acesso indevido por uma ferramenta, trate o caso também como possível incidente de segurança, além de incidente de atendimento. Aqui a LGPD entra na conversa.

O caminho prático é acionar o encarregado de dados (ou quem exerce essa função), registrar quais dados, quantas pessoas e por qual canal foram afetados, e avaliar o risco ou dano para os titulares. A LGPD prevê comunicação à ANPD e aos titulares quando o incidente puder acarretar risco ou dano relevante, e a análise de cada caso cabe ao jurídico e ao encarregado, não ao time de atendimento. A página da ANPD reúne as orientações oficiais sobre o tema. Para o quadro geral de obrigações, leia LGPD e inteligência artificial: o que a empresa deve fazer.

Os registros que você precisa para investigar também contêm dados pessoais. Defina prazo de guarda, mascaramento e quem pode acessá-los antes do incidente, não durante. O artigo sobre retenção de logs de conversas de IA detalha esse equilíbrio entre evidência e minimização.

Como fazer a revisão depois do erro?

Com o cliente atendido e o fluxo estável, faça uma revisão sem caça a culpados. O objetivo é descobrir qual parte do sistema permitiu o erro. Reúna as pessoas de operação, de atendimento e de tecnologia, e reconstrua a sequência a partir dos registros: o que o cliente perguntou, o que o agente tinha de contexto, o que decidiu e o que executou.

As causas costumam cair em poucas famílias:

• Informação desatualizada ou conflitante na base que o agente consulta.
• Instrução ambígua ou sem limite explícito sobre o que o agente não deve responder.
• Ferramenta com permissão maior do que o fluxo exigia.
• Ausência de ponto de transferência para humano em situações de dúvida ou de valor sensível.
• Mudança de modelo, de fornecedor ou de integração sem reteste.
• Entrada maliciosa ou inesperada, como tentativa de induzir o agente a ignorar regras. O OWASP Top 10 para aplicações com LLM descreve esses riscos de forma organizada.

Para cada causa, escolha uma correção estrutural. Prefira regras determinísticas e limites de permissão a frases adicionais no prompt, porque texto de instrução reduz a chance de erro, mas não a elimina. Transforme o incidente em caso de teste: a conversa que falhou entra no conjunto de avaliações que roda antes de cada mudança. A Anthropic descreve essa prática em Demystifying evals for AI agents, e o NIST AI Risk Management Framework oferece uma estrutura geral para governar e monitorar riscos de sistemas de IA. Para os erros de conteúdo em si, o guia sobre como reduzir respostas erradas de um agente de IA complementa esta etapa.

Feche a revisão com um registro curto: o que aconteceu, quem foi afetado, o que foi feito, a causa provável, a mudança aplicada e quem confirma que ela funciona. Aqui vale separar o que é fato nos registros, o que é conclusão da equipe e o que ainda é hipótese. Hipótese não confirmada deve virar um teste, não uma afirmação no relatório.

Como o método mapear, limitar, pilotar e transferir reduz o dano de um erro?

A maior parte do que determina a gravidade de um erro é decidida antes dele. Por isso o método de trabalho que usamos cobre também o plano de resposta.

Mapear: antes de colocar o agente no ar, descreva o processo atual e identifique onde o erro custa mais, seja dinheiro, dado pessoal ou promessa a cliente. Esses pontos definem a gravidade no plano.

Limitar: restrinja os dados que o agente enxerga e as ações que pode executar. Começar em modo de leitura e liberar escrita por etapa torna a contenção muito mais simples, porque há menos o que desfazer.

Pilotar: rode um fluxo real, com registros completos e um critério de sucesso combinado. O piloto é o momento mais barato para errar e ensaiar o plano. O artigo sobre como medir um piloto de automação com IA mostra como definir esses critérios.

Transferir: deixe claro o ponto em que a conversa passa para uma pessoa, com o histórico junto. No incidente, esse mesmo caminho vira o seu principal instrumento de contenção.

Perguntas frequentes

O que fazer imediatamente quando descobrimos que a IA errou com um cliente? Pause o fluxo, o tema ou a ferramenta responsável, sem desligar o atendimento inteiro, e preserve os registros da conversa e das ações. Em seguida, uma pessoa assume o caso do cliente e o contata. A investigação da causa vem depois de o cliente estar amparado.

Devemos avisar o cliente de que foi um assistente automático que errou? Se o erro teve efeito concreto para ele, a transparência costuma ser o melhor caminho: diga de forma simples que uma informação ou ação automatizada estava incorreta e que uma pessoa está cuidando do caso. Não é preciso explicar detalhes técnicos. O essencial é o que aconteceu, o que foi feito e quem responde.

A empresa responde pelo erro da IA ou o fornecedor da ferramenta? Para o cliente, quem atendeu foi a empresa, e é ela que costuma ser cobrada. A divisão de responsabilidades entre empresa e fornecedor depende do contrato e do papel de cada um no tratamento de dados, tema que o artigo sobre operador e controlador na LGPD explica. Em caso de dúvida concreta, consulte um advogado.

Como evitar que o mesmo erro aconteça de novo? Transforme o incidente em mudança estrutural: reduza permissões, adicione uma regra ou ponto de transferência, corrija a base de conhecimento e inclua a conversa que falhou nos testes que rodam antes de cada alteração. Mudar só o texto das instruções ajuda, mas sozinho raramente basta. Confirme depois, com dados do próprio fluxo, que a correção funcionou.

Fontes

• NIST: AI Risk Management Framework
• OWASP: Top 10 for LLM Applications
• ANPD: Autoridade Nacional de Proteção de Dados
• Anthropic: Demystifying evals for AI agents