Superinteligência e produtividade: métricas para os primeiros 90 dias

Superinteligência e produtividade: métricas para os primeiros 90 dias

Quais métricas medir nos primeiros 90 dias de um agente de IA para comprovar ganho real de produtividade antes de expandir o uso na empresa.

•

Quer aplicar isso na sua empresa?

Agendar conversa com o Juan →

Para medir ganho real de um agente de IA nos primeiros 90 dias, acompanhe poucas métricas: tempo até a conclusão da tarefa, taxa de transferência para uma pessoa, taxa de erro em amostra revisada, retrabalho da equipe e custo por tarefa resolvida. Compare tudo com uma linha de base colhida antes do agente entrar em operação. Sem essa comparação, a sensação de produtividade é apenas opinião.

Principais pontos

  • Comece com uma linha de base do processo real, antes de qualquer agente entrar em operação.
  • Escolha um conjunto pequeno de métricas, divididas entre velocidade, qualidade e controle.
  • Meça separadamente o que o agente resolve sozinho e o que é transferido para uma pessoa.
  • Registre erros e decisões em log, porque o erro mais caro costuma ser o que ninguém viu.
  • Use as métricas para decidir expandir, ajustar ou parar, e não para avaliar pessoas.

Por que medir antes de expandir

Uma demonstração costuma impressionar, mas a operação cobra. Um agente tende a parecer muito produtivo nas perguntas fáceis, que são justamente as mais frequentes, e a falhar nos casos de exceção, que são os que geram reclamação e retrabalho. Por isso, o objetivo dos primeiros 90 dias não é provar que a tecnologia funciona em tese, e sim descobrir se ela melhora um fluxo específico da sua empresa, com os seus clientes e as suas regras.

O nosso método organiza esse trabalho em quatro movimentos: mapear o processo atual, limitar dados e ações, pilotar um fluxo real com logs e uma métrica de sucesso combinada previamente, e então transferir a operação e decidir se ela será expandida, ajustada ou interrompida. As métricas deste artigo servem sobretudo ao passo de pilotar, porque é nele que a decisão é tomada.

Linha de base: o que colher antes do agente

A linha de base é a fotografia do processo como ele é hoje. Sem ela, qualquer melhora ou piora fica sem referência. O trabalho é simples, mas precisa ser feito com disciplina:

  • Escolha um fluxo com início e fim claros, como responder dúvidas sobre status de pedido, agendar um horário ou triar um pedido de orçamento.
  • Colha dados por um período representativo, incluindo semanas de movimento intenso e semanas tranquilas.
  • Anote o volume de casos, o tempo médio até a conclusão e quantas vezes uma pessoa precisou corrigir ou refazer algo.
  • Documente as regras atuais e as exceções que a equipe já conhece de cor.
  • Defina por escrito o que conta como sucesso e o que conta como falha, antes do piloto começar.

Essa última etapa é a que mais falta nos projetos. Se a equipe só descobrir o critério de sucesso depois de ver os resultados, a métrica passa a justificar a conclusão que já foi escolhida.

Métricas de velocidade e cobertura

O primeiro grupo responde à pergunta mais óbvia: o processo ficou mais rápido e chegou a mais casos? Três métricas costumam bastar.

A primeira é o tempo até a resolução, medido do primeiro contato até o fechamento do caso, e não apenas até a primeira resposta do agente. Uma resposta rápida que não resolve nada não é ganho, é apenas deslocamento do trabalho para depois.

A segunda é a taxa de resolução sem intervenção humana, ou seja, a fração de casos encerrados pelo agente dentro das regras definidas. Ela deve ser lida junto com a qualidade, porque um agente pode resolver muito apenas aceitando respostas ruins.

A terceira é a taxa de transferência para uma pessoa (handoff) e o tempo que o caso passa na fila humana depois da transferência. Se o agente transfere tudo, o ganho some. Se transfere pouco demais e erra, o problema aparece na qualidade. Essa métrica mostra o equilíbrio entre os dois lados.

Métricas de qualidade, retrabalho e risco

O segundo grupo é o que separa um piloto útil de uma operação que dá trabalho escondido. A principal métrica é a taxa de acerto em uma amostra revisada por uma pessoa. A amostra deve ser fixa, com casos reais anonimizados ou simulados, e reexecutada sempre que as instruções ou ferramentas mudarem. Avaliar o próprio modelo pela sua impressão de confiança não basta.

O retrabalho é a medida mais reveladora. Conte quantas vezes a equipe corrigiu uma resposta, refez um orçamento, reabriu um agendamento ou explicou ao cliente algo que o agente disse errado. Se o tempo de correção cresce junto com o volume, o ganho de velocidade foi transferido para a revisão.

Por fim, acompanhe os eventos de risco: respostas fora da política aprovada, ações tentadas fora da permissão concedida, dados pessoais expostos em uma resposta e reclamações atribuíveis ao agente. Eles devem ser contados de forma explícita, com a data e o caso correspondente no log, para que a equipe consiga investigar a causa e não apenas registrar que houve problema.

As referências de avaliação de agentes da Anthropic e o guia de evals da OpenAI, listados nas fontes, descrevem a lógica de montar conjuntos de casos e executá-los de forma repetida. Vale adaptar essa lógica ao seu processo, sem copiar métricas que não fazem sentido para o seu negócio.

Custo por tarefa resolvida: o que contar de verdade

O custo é a métrica mais negligenciada, porque quase sempre se conta apenas a assinatura da ferramenta. Uma conta mais honesta considera o custo da ferramenta e da infraestrutura, o tempo de quem configura e mantém o agente, o tempo de revisão humana e o tempo de correção de falhas. Dividir esse total pelo número de tarefas efetivamente resolvidas dá uma medida de custo unitário que pode ser comparada com o processo anterior.

O framework de unit economics da FinOps Foundation é uma boa referência para pensar nesse cálculo. Ele não traz valores para a sua empresa, mas ajuda a separar custo fixo, custo variável e custo escondido. Não compare custo sem comparar qualidade: uma tarefa barata que exige revisão cuidadosa pode sair mais cara do que parece.

Cenário ilustrativo: um agente de agendamento nos 90 dias

Cenário ilustrativo, sem dados reais: uma clínica pequena quer usar um agente no WhatsApp para remarcar consultas e responder dúvidas sobre preparo. Na fase de linha de base, a equipe descobre que a maior parte do tempo vai para remarcações e confirmações, e que o campo de observações costuma estar incompleto. Antes de ligar o agente, a equipe define que o sucesso exige tempo de resolução menor, nenhuma remarcação feita fora da agenda real e retrabalho estável.

No piloto, o agente só remarca horários livres e transfere para a recepção qualquer pedido que envolva exceção de convênio. No primeiro ciclo de revisão, os logs mostram que a maior parte das transferências vem de pacientes que perguntam por um procedimento específico que a regra não cobria. A equipe ajusta a instrução e acrescenta esse caso ao conjunto fixo de testes. No fim do período, a decisão é expandir apenas para as remarcações, mantendo as exceções com a recepção.

O ponto do cenário não é o resultado, que aqui é hipotético, e sim a sequência: linha de base, critério escrito, amostra fixa, log de transferências e uma decisão explícita ao final.

Um guia simples para decidir ao final dos 90 dias:

  • Expandir, quando a métrica de sucesso foi atingida na amostra, o retrabalho ficou estável ou menor e os eventos de risco estão controlados.
  • Ajustar, quando há ganho de velocidade, mas um tipo de caso concentra erros ou transferências e a regra pode ser corrigida sem reescrever o fluxo.
  • Parar, quando a qualidade não sustenta a operação ou o custo de revisão anula o ganho de tempo.

Antes de testar mudanças em produção, vale validar o fluxo com dados simulados. Essa prática está descrita no artigo sobre como testar agente de IA com mocks e sandbox sem risco.

Medir o agente sem vigiar a equipe

As métricas devem avaliar o sistema, não as pessoas. Quando o tempo de cada atendente vira ranking ligado à IA, a equipe passa a esconder erros e a evitar casos difíceis, e a medição perde valor. A regra prática é medir o fluxo: volume, tempo, transferências, erros e retrabalho do processo como um todo.

Há também a dimensão da LGPD. Os logs de conversas com clientes contêm dados pessoais e precisam de finalidade definida, acesso restrito e prazo de guarda. Registrar apenas o necessário para avaliar o agente costuma ser suficiente e reduz o risco. O texto sobre como medir produtividade com IA sem virar vigilância aprofunda esse equilíbrio.

Como montar o painel dos 90 dias

Não é preciso um sistema sofisticado para começar. Uma planilha com a linha de base, um registro de casos com status e motivo de transferência e uma revisão semanal de uma amostra já resolvem a maior parte do trabalho. Quando o agente cresce, a instrumentação passa a incluir traces e métricas técnicas, e as convenções semânticas de OpenTelemetry para IA generativa ajudam a padronizar esses dados.

O importante é que o painel seja revisado com uma pergunta fixa: estamos mais perto de expandir, de ajustar ou de parar? Se a resposta não muda ao longo das semanas, provavelmente as métricas escolhidas não estão medindo o que importa. Para entender o que um agente faz hoje antes de prometer qualquer ganho, veja o texto sobre superinteligência na prática e o que um agente faz hoje.

Perguntas frequentes

Quantas métricas devo acompanhar nos primeiros 90 dias? Acompanhe um conjunto pequeno, algo em torno de cinco a sete indicadores, distribuídos entre velocidade, qualidade e controle. Mais do que isso costuma gerar painel bonito e pouca decisão. Cada métrica precisa ter uma definição escrita e um responsável pela leitura.

Posso usar a avaliação do próprio modelo como métrica de qualidade? Não como única medida. A autoavaliação do modelo pode ajudar a triagem, mas o acerto precisa ser conferido por uma pessoa em uma amostra fixa de casos reais ou simulados. Essa amostra deve ser reexecutada depois de cada mudança nas instruções ou nas ferramentas.

Quando considerar o piloto concluído? O piloto termina quando o critério de sucesso escrito no início foi avaliado com dados suficientes, e não quando o calendário chega ao fim. Se o período teve pouco volume em alguma frente, isso também deve ser dito na decisão. A conclusão pode ser expandir, ajustar ou parar, e as três são resultados válidos.

Preciso de uma ferramenta específica para medir o agente? Não necessariamente. Logs bem estruturados, uma planilha de casos e uma revisão periódica bastam para a maioria dos fluxos iniciais. Ferramentas de observabilidade fazem sentido quando o volume cresce e você precisa rastrear cada chamada, mas a definição das métricas vem antes da escolha de ferramenta.

Fontes

superinteligênciaprodutividademétricasagentes de IApilotos com IA