Indicadores de atendimento com IA: como ajustar TMA, resolução e CSAT

Indicadores de atendimento com IA: como ajustar TMA, resolução e CSAT

Para medir atendimento com IA, continue usando TMA, taxa de resolução e CSAT, mas mude a forma de calcular cada um. Meça a conversa de ponta a ponta, separe o que a IA resolveu sozinha do que passou por uma pessoa e compare apenas grupos de contatos equivalentes. Sem isso, o painel mistura mudança no perfil da demanda com qualidade real e leva a decisões erradas.

Principais pontos

• O TMA deixa de ser um número único: separe tempo da IA, tempo humano ativo e tempo total até a solução.
• Resolução precisa significar que a necessidade do cliente foi atendida, não que a conversa foi encerrada.
• O CSAT deve ser lido por jornada (só IA, IA com transferência, só humano), porque cada grupo responde de um jeito.
• Comparar com o período anterior só vale depois de recalcular o passado com a mesma definição e o mesmo recorte de contatos.
• Um piloto com um fluxo real, logs e uma meta combinada antes evita discutir métrica depois do resultado.

Por que os indicadores clássicos enganam quando a IA entra

TMA, resolução e CSAT nasceram em um mundo em que toda conversa era conduzida por uma pessoa. O tempo medido era o tempo do atendente, o ticket era fechado pelo atendente e a pesquisa de satisfação avaliava, na prática, aquele atendente. Quando uma IA assume parte dos contatos, essas três premissas deixam de valer ao mesmo tempo.

O efeito mais comum é a mudança de mix. A IA tende a absorver as perguntas simples e repetitivas: segunda via, status de pedido, horário, documentos necessários. O que sobra para a equipe humana é o que exige julgamento, exceção ou negociação. Resultado: o TMA humano pode subir e o CSAT humano pode oscilar mesmo que a operação inteira esteja melhor. Quem olha só a média geral conclui que a IA piorou o atendimento, ou o contrário, dependendo de qual número aparece primeiro no relatório.

Há ainda o problema de definição. Uma conversa de WhatsApp que a IA encerra por inatividade pode ser contada como resolvida. Um cliente que desistiu e voltou por outro canal vira dois contatos. Por isso, antes de falar de meta, vale decidir o que cada indicador passa a significar. Se o seu foco é o SAC, o texto sobre o que automatizar e o que manter no SAC com IA ajuda a definir quais tipos de contato entram em cada grupo.

Como adaptar o TMA sem se enganar

O TMA tradicional soma o tempo de atendimento e divide pelo número de contatos. Com IA, isso mistura segundos de resposta automática com minutos de trabalho humano. Em canais assíncronos como o WhatsApp, o problema piora: a conversa pode ficar aberta por horas sem que ninguém esteja trabalhando nela.

A adaptação mais útil é quebrar o tempo em partes que respondem a perguntas diferentes:

• Tempo até a primeira resposta: mostra se o cliente deixou de esperar. É onde a IA costuma ter ganho mais evidente.
• Tempo de conversa conduzida pela IA: indica se o fluxo está direto ou se o cliente dá voltas para chegar ao ponto.
• Tempo humano ativo após a transferência: o esforço real da equipe, descontando esperas do cliente.
• Tempo total até a solução: o que o cliente sente, somando tudo, inclusive pausas.

Um cuidado importante é a qualidade da transferência. Se a IA passa o caso com um resumo claro do que já foi perguntado, o tempo humano tende a cair, porque a pessoa não recomeça do zero. Se a transferência chega sem contexto, o cliente repete tudo e o tempo humano sobe. Esse é um sinal valioso, e só aparece quando o TMA humano é medido separado e com a marca de quais casos vieram da IA.

Prefira também olhar a distribuição, não só a média. Poucos casos muito longos distorcem o número e escondem que a maioria ficou mais rápida. Mediana e uma lista dos casos mais longos costumam contar uma história mais fiel.

Como medir resolução quando a IA responde

Contenção e resolução são coisas diferentes. Contenção diz que a IA não transferiu para uma pessoa. Resolução diz que o cliente conseguiu o que precisava. Uma IA pode conter muito e resolver pouco, simplesmente deixando o cliente sem saída até ele desistir. Se a meta for apenas reduzir transferências, o sistema aprende a não transferir, e isso é um incentivo ruim.

Uma definição prática de resolução combina sinais, em vez de depender de um só:

• Confirmação do cliente, quando ele diz que resolveu ou agradece depois de uma resposta objetiva.
• Ação concluída no sistema, como segunda via emitida, agendamento criado ou chamado aberto com os dados corretos.
• Ausência de retorno sobre o mesmo assunto dentro de uma janela que a própria empresa define para cada tipo de contato.
• Amostra revisada por uma pessoa, para conferir se o que o painel chamou de resolvido foi mesmo.

Com isso, classifique cada conversa em categorias claras: resolvida pela IA, resolvida após transferência, abandonada, encerrada sem confirmação e reaberta. A categoria de encerrada sem confirmação é a mais honesta de todas, porque admite que nem toda conversa silenciosa foi um sucesso. Para organizar essa leitura em um teste controlado, o guia sobre como medir um piloto de automação com IA detalha métricas e pontos de decisão.

Outro ponto: registre por que a IA decidiu o que decidiu. Um log de decisão com a intenção identificada, a ação tomada e o motivo da transferência permite auditar a resolução depois. A documentação de observabilidade do OpenTelemetry descreve a ideia geral de usar logs, métricas e rastros para entender o comportamento de um sistema, e o raciocínio vale para um agente de atendimento.

CSAT: quem responde e o que a nota mede

O CSAT com IA tem dois riscos. O primeiro é o viés de resposta: quem responde à pesquisa costuma ser quem ficou muito satisfeito ou muito irritado. Se a IA muda quem recebe a pesquisa (por exemplo, enviando só depois de conversas encerradas formalmente), a nota muda sem que o atendimento tenha mudado.

O segundo é a atribuição. Um cliente que passou por uma IA confusa e depois foi bem atendido por uma pessoa pode dar nota baixa e o painel debita isso do humano. Para evitar, registre o caminho percorrido e analise a nota por jornada:

• Só IA, sem transferência.
• IA com transferência para humano.
• Só humano, sem passagem pela IA.

Inclua na pesquisa uma pergunta direta sobre a solução, além da nota geral. Algo como: seu problema foi resolvido? Isso separa a satisfação com o tom da satisfação com o resultado. Se a pesquisa for enviada ativamente pelo WhatsApp, lembre das regras de templates e consentimento, que o artigo sobre mensagens ativas no WhatsApp, templates e opt-in explica.

Como muitos clientes não respondem pesquisa nenhuma, complemente com sinais indiretos. A análise de sentimento no atendimento pode indicar conversas com frustração mesmo sem nota, desde que seja tratada como pista para revisão e não como veredito. E lembre que os dados dessas conversas são pessoais: limite o que é guardado e quem pode ver, conforme a LGPD.

Armadilhas ao comparar com o período anterior

Comparar o mês de hoje com o mês anterior parece simples, mas depois que a IA entra quase nada permanece igual. As armadilhas mais frequentes:

• Mudança de mix: contatos simples migraram para a IA, então os números humanos refletem um conjunto mais difícil.
• Demanda nova: atendimento fora do horário e respostas rápidas fazem surgir contatos que antes nem aconteciam, o que altera volume e perfil.
• Definição alterada: se resolução e encerramento passaram a ser contados de outro jeito, a série histórica perdeu comparabilidade.
• Amostra de CSAT diferente: mudou o momento, o canal ou o público que recebe a pesquisa.
• Sazonalidade e campanhas: períodos de pico têm perfil próprio, e comparar um mês de pico com um mês calmo distorce tudo.
• Efeito novidade: no começo o cliente testa a IA com curiosidade, e o comportamento muda depois de algumas semanas.
• Mudanças simultâneas: equipe, política de prazos e IA mudando juntas impedem atribuir o efeito a qualquer uma delas.

A regra de segurança é recalcular o período anterior com a definição nova, sempre que os dados permitirem. Quando não permitirem, assuma e registre que a comparação é aproximada. Outra boa prática é comparar por tipo de contato (por exemplo, status de pedido contra status de pedido), e não pelo total. A abordagem de avaliação por tarefas descrita pela Anthropic em seu material sobre evals de agentes segue essa lógica: medir o comportamento em casos definidos, em vez de confiar em uma média ampla.

Cenário ilustrativo: a média piorou, mas o atendimento melhorou

Imagine, como cenário ilustrativo, uma empresa de serviços que atende pelo WhatsApp. Antes da IA, todos os contatos iam para a equipe. Depois, a IA passou a responder dúvidas sobre horário, documentos e status, e a transferir pedidos de alteração e reclamações.

No relatório do mês seguinte, o TMA humano subiu, o CSAT geral ficou parecido e a taxa de resolução aumentou. A diretoria pergunta se a IA ajudou ou atrapalhou. Olhando só o painel antigo, a resposta é confusa.

A análise correta quebra os números. O TMA humano subiu porque a equipe agora só recebe casos de alteração e reclamação, que são naturalmente mais longos. O tempo até a primeira resposta caiu para quem perguntava algo simples. O CSAT dos clientes atendidos só pela IA está alto em perguntas objetivas, mas baixo nos casos em que o cliente não achou a opção de falar com uma pessoa. A resolução subiu, mas uma revisão por amostra mostra que parte das conversas encerradas sem confirmação não estava realmente resolvida.

Conclusão do cenário: a IA ajudou nos contatos simples e precisa de ajuste na saída para o humano. A decisão certa é corrigir o gatilho de transferência e mudar a regra de resolução, não desligar o projeto nem comemorar a média.

Plano para adaptar os indicadores sem complicar

O método que aplicamos em projetos de atendimento segue quatro movimentos: mapear, limitar, pilotar e transferir. Para indicadores, ele fica assim:

• Mapear: liste os tipos de contato, como são atendidos hoje e qual era o valor de cada indicador antes da IA, anotando como cada um era calculado.
• Definir: escreva em uma página o que significa resolvido, abandonado, reaberto e transferido, e quais janelas de tempo valem para cada tipo de contato.
• Limitar: escolha um fluxo e limite o que a IA pode fazer nele, com regras claras de transferência para uma pessoa.
• Pilotar: rode esse fluxo real com logs de decisão e uma meta combinada antes de começar, incluindo o que fará a empresa ampliar, ajustar ou parar.
• Revisar por amostra: toda semana, uma pessoa lê um conjunto de conversas de cada categoria e compara com o que o painel registrou.
• Transferir a operação: documente as definições, entregue o painel à equipe e decida o próximo fluxo com base nas evidências.

Esse desenho conversa com o que o NIST AI Risk Management Framework propõe de forma geral: mapear o contexto, medir e gerenciar riscos de forma contínua. Também se alinha à preocupação de medir produtividade sem transformar a equipe em alvo de vigilância: os indicadores servem para melhorar o processo, não para ranquear pessoas. O artigo sobre como medir produtividade com IA sem vigilância aprofunda esse cuidado.

Perguntas frequentes

O TMA ainda faz sentido quando a IA atende parte dos clientes? Faz, desde que deixe de ser um número único. Meça o tempo até a primeira resposta, o tempo da IA, o tempo humano ativo e o tempo total até a solução. Assim você vê onde o ganho aparece e onde há retrabalho.

Qual a diferença entre contenção e taxa de resolução? Contenção mede quantas conversas a IA não transferiu para uma pessoa. Resolução mede se o cliente teve a necessidade atendida. Uma IA pode ter alta contenção e baixa resolução se o cliente desiste, por isso as duas precisam ser acompanhadas separadamente.

Como evitar que o CSAT seja distorcido pela IA? Analise a nota por jornada (só IA, IA com transferência, só humano) e acrescente uma pergunta sobre a solução do problema. Cuide também de quem recebe a pesquisa, para que a mudança de público não pareça mudança de qualidade. Use sinais indiretos para os clientes que não respondem.

Posso comparar os números de hoje com os de antes da IA? Pode, com cuidado. Recalcule o período anterior com a definição nova sempre que possível, compare por tipo de contato e considere sazonalidade, demanda nova e mudanças simultâneas. Quando isso não for possível, registre que a comparação é aproximada e use o piloto como referência principal.

Fontes

• OpenTelemetry: observability concepts
• Anthropic: Demystifying evals for AI agents
• NIST AI Risk Management Framework