Latência em agentes de IA: onde o tempo se perde e como reduzir

Latência em agentes de IA: onde o tempo se perde e como reduzir

A latência de um agente de IA é a soma de várias esperas: o tempo do modelo para ler e escrever, as chamadas a ferramentas e sistemas, a rede entre cada parte e o tamanho do contexto que viaja a cada passo. Para reduzi-la, meça cada etapa separadamente, corte passos, texto e chamadas em série que não agregam e só depois considere trocar o modelo. Assim a resposta fica mais rápida sem abrir mão da qualidade que o processo exige.

Principais pontos

• Latência não é um número só: separe o tempo até a primeira resposta do tempo até a tarefa terminar.
• A maior parte da espera costuma estar em quatro lugares: modelo, ferramentas, rede e contexto. Sem medir por etapa, qualquer ajuste é palpite.
• Os ganhos mais seguros vêm de reduzir trabalho: menos contexto, menos passos, respostas mais curtas e chamadas feitas em paralelo.
• Trocar por um modelo menor ou mais rápido pode funcionar, mas só deve ser aprovado depois de um teste com casos reais do seu processo.
• Parte da espera é desejável, como a aprovação humana em ações de risco. O objetivo é eliminar a espera inútil, não a de controle.

O que é latência em um agente de IA e por que ela não é um número só?

Quando alguém diz que o agente está lento, pode estar falando de duas coisas diferentes. Uma é o tempo até aparecer qualquer sinal de resposta. A outra é o tempo até a tarefa ficar realmente concluída, por exemplo o pedido registrado ou o agendamento confirmado. Os dois têm causas e soluções distintas.

Um chatbot simples faz uma chamada ao modelo e responde. Um agente faz um ciclo: lê a mensagem, decide, chama uma ferramenta, lê o resultado, decide de novo e só então responde. Cada volta desse ciclo soma tempo. Por isso um agente com muitas ferramentas e muitos passos pode demorar bem mais do que o modelo sozinho, mesmo que o modelo seja rápido.

Há ainda a percepção. Num canal como o WhatsApp, o cliente tolera uma espera curta quando recebe um sinal de que algo está acontecendo, como uma confirmação de recebimento ou um aviso de que o agente está consultando o pedido. Uma espera igual, em silêncio, parece falha. Então a primeira decisão é qual das duas latências você quer reduzir, e a resposta quase sempre é as duas, com técnicas diferentes.

Onde o tempo se perde: modelo, ferramentas, rede e contexto

Para investigar, divida o caminho de uma mensagem em blocos. Cada bloco tem um suspeito típico.

• Modelo: o tempo de geração cresce com o tamanho da resposta, porque o texto é produzido em sequência. Modelos maiores e configurações que fazem o modelo raciocinar mais antes de responder tendem a demorar mais. Respostas longas quando bastaria uma frase são um custo escondido.
• Contexto: quanto mais texto o modelo recebe, mais trabalho de leitura ele tem a cada chamada. Histórico completo da conversa, instruções gigantes e resultados de ferramentas despejados inteiros no prompt pesam em cada volta do ciclo. Vale ler o que explicamos sobre a janela de contexto em IA e como não estourá-la.
• Ferramentas: consulta a CRM, ERP, planilha ou API de terceiros costuma ser a etapa mais lenta e mais variável. Ferramentas que devolvem dados demais, exigem várias chamadas para uma pergunta simples ou ficam esperando um timeout longo prejudicam o agente inteiro.
• Rede: cada salto adiciona tempo. Num fluxo típico a mensagem passa pelo provedor do WhatsApp, por uma plataforma de automação, pelo modelo e por um sistema interno. Distância geográfica entre servidores, funções que precisam iniciar do zero e filas também contam.
• Orquestração: passos executados em série que poderiam ser paralelos, retentativas automáticas e agentes que repetem ações sem necessidade. O problema extremo é o agente em loop, tema do nosso texto sobre limites de passos, tempo e gasto.

Na prática, quase nunca existe um único culpado. O que existe é uma soma de pequenas esperas, e a ordem de grandeza de cada uma só aparece quando você mede.

Como medir antes de mexer: um passo a passo

Otimizar sem medir costuma levar a trocar o modelo por um mais caro ou mais fraco quando o problema estava em uma consulta lenta ao sistema interno. Este é um plano simples, que cabe em um piloto.

• Passo um: escolha um fluxo real e frequente, como consultar status de pedido ou agendar um horário. Um fluxo só, bem definido.
• Passo dois: registre o horário de cada evento do fluxo: mensagem recebida, início e fim de cada chamada ao modelo, início e fim de cada chamada a ferramenta, resposta enviada.
• Passo três: guarde também o tamanho do contexto enviado em cada chamada e o número de passos que o agente executou.
• Passo quatro: olhe os casos mais lentos, não só o tempo médio. A média esconde as conversas que irritam o cliente.
• Passo cinco: some o tempo por categoria (modelo, ferramentas, rede, orquestração) e ordene. Ataque primeiro a maior.
• Passo seis: defina um conjunto de conversas de teste com o resultado esperado, para comprovar que cada ajuste não piorou a qualidade.

Para o registro por etapa, o conceito de traços (traces) em observabilidade ajuda muito: cada passo vira um trecho com início e fim, e você enxerga onde o tempo foi gasto. A introdução à observabilidade do OpenTelemetry explica a ideia de forma neutra, e serve mesmo que você use outra ferramenta.

Quais ajustes diminuem a espera sem piorar a qualidade?

Use a lista abaixo como guia de decisão. Ela parte do que a medição mostrou.

• Se o tempo está no contexto: envie só o que a tarefa precisa. Resuma o histórico antigo, remova instruções que não se aplicam àquele fluxo e devolva das ferramentas apenas os campos úteis. A Anthropic descreve essa disciplina em context engineering para agentes.
• Se o prompt tem uma parte longa e fixa que se repete: avalie o cache de prompt do seu provedor. A documentação de prompt caching da Anthropic descreve como reaproveitar a parte repetida do prompt para reduzir tempo de processamento e custo. Confirme sempre as regras do provedor que você usa.
• Se o tempo está na geração: peça respostas mais curtas e objetivas, e deixe o texto longo para quando for realmente necessário. Em fluxos de atendimento, uma frase certa vale mais que três parágrafos.
• Se o tempo está em chamadas de ferramentas em série: execute em paralelo as que não dependem uma da outra, como consultar cadastro e estoque ao mesmo tempo.
• Se a ferramenta devolve muita coisa ou exige várias chamadas: redesenhe a ferramenta para fazer uma tarefa clara e devolver uma resposta enxuta. O texto da Anthropic sobre como escrever ferramentas para agentes trata exatamente disso.
• Se parte do trabalho é determinística: tire o modelo do caminho. Validar CPF, calcular prazo ou buscar um registro pelo número não precisa de julgamento de IA, e um fluxo programado responde muito mais rápido.
• Se a tarefa é simples e repetitiva: teste um modelo menor. Veja os critérios em modelos pequenos de IA na empresa e compare com o conjunto de teste, não com a impressão geral.
• Se há saltos de rede desnecessários: aproxime os componentes, reduza intermediários e evite iniciar do zero um serviço a cada mensagem.
• Se o cliente fica sem retorno: envie um aviso rápido de que a consulta está em andamento e entregue o resultado logo depois.

Observe que a maioria dessas ações reduz trabalho, e não capacidade. É por isso que costumam preservar a qualidade. Trocar o modelo, ao contrário, muda o comportamento e exige reavaliação completa.

Cenário ilustrativo: agente de status de pedido no WhatsApp

Imagine, a título de ilustração, uma loja que usa um agente no WhatsApp para informar o status de pedidos. O cliente pergunta onde está a entrega e a resposta demora mais do que o aceitável.

Ao registrar o tempo de cada etapa, a equipe descobre quatro coisas. O agente recebe o histórico inteiro da conversa a cada passo. A consulta ao sistema de pedidos devolve dezenas de campos, quase todos irrelevantes. O agente consulta primeiro o cadastro e só depois o pedido, em série. E as respostas costumam vir com explicações longas que ninguém pediu.

Os ajustes seguem a ordem do que foi medido. A ferramenta passa a devolver só status, previsão e transportadora. O histórico antigo é resumido. As duas consultas rodam em paralelo. A instrução de resposta pede uma mensagem curta, com a previsão e o próximo passo. Antes de publicar, a equipe roda as conversas de teste e confere se as respostas continuam corretas, inclusive nos casos difíceis, como pedido inexistente ou cliente irritado. Só se a espera ainda incomodar, avalia um modelo menor para esse fluxo.

Nenhum desses passos reduziu a qualidade, porque todos eliminaram trabalho que o agente não precisava fazer.

Quando a espera é aceitável (e até desejável)

Nem toda demora é defeito. Quando o agente vai alterar um cadastro, emitir uma segunda via financeira ou prometer uma condição ao cliente, uma aprovação humana é um controle, e não um atraso. Remover esse passo para ganhar velocidade troca um problema de tempo por um risco que o negócio talvez não queira correr. A decisão de quais ações exigem revisão pertence ao dono do processo, e não à equipe de otimização.

O mesmo vale para limites. Um teto de passos e de tempo por conversa protege contra loops e gastos inesperados, mesmo que ocasionalmente corte uma resposta que levaria mais tempo. E se a latência de um modelo hospedado fora do país for um problema, lembre que a decisão sobre onde processar dados envolve também privacidade. Vale consultar o que a LGPD exige sobre transferência internacional de dados com IA antes de mudar de região ou de provedor apenas por velocidade.

Por fim, algumas tarefas são naturalmente longas, como transcrever um áudio extenso ou analisar um documento grande. Nesses casos, o caminho é tornar a espera previsível: avisar o cliente, processar em segundo plano e notificar quando terminar.

Como o método mapear, limitar, pilotar e transferir se aplica

O mesmo método usado em qualquer projeto de agente serve para tratar latência, em quatro movimentos.

• Mapear: descreva o caminho do fluxo, quais sistemas ele toca e qual é a espera atual, com uma linha de base medida.
• Limitar: defina o que o agente pode ler e fazer, o tamanho máximo de contexto, o número máximo de passos e o tempo máximo por tarefa.
• Pilotar: aplique os ajustes em um fluxo real, com registros por etapa e uma métrica de sucesso combinada, que inclua qualidade e tempo juntos.
• Transferir: entregue à equipe o painel de medição, os casos de teste e as regras de quando reavaliar, e então decida se expande, ajusta ou para.

A métrica combinada é importante. Se o piloto só mede velocidade, qualquer corte parece vitória. Se mede velocidade e acerto, o time enxerga o preço real de cada ajuste.

Perguntas frequentes

Por que meu agente de IA demora mais do que o chatbot que eu usava antes? Porque um agente faz um ciclo de decisões, consultas a ferramentas e novas decisões, e cada volta soma tempo. Um chatbot simples faz uma chamada ao modelo e responde. O caminho é medir cada etapa e reduzir passos, contexto e consultas em série.

Trocar para um modelo menor resolve a lentidão? Às vezes ajuda, principalmente em tarefas simples e repetitivas, mas é o ajuste mais arriscado para a qualidade, porque muda o comportamento do agente. Antes de trocar, reduza contexto, passos e chamadas desnecessárias, e se trocar, valide com conversas reais do seu processo.

Posso rodar o modelo localmente para ficar mais rápido? Pode reduzir a distância de rede e dar mais controle sobre os dados, mas a velocidade depende do hardware e do tamanho do modelo, e o resultado nem sempre supera um serviço hospedado. Se quiser avaliar, leia sobre como rodar um modelo local com Ollama sem improvisar e compare com a sua linha de base.

Como saber se a otimização não piorou as respostas? Mantenha um conjunto fixo de conversas de teste com o resultado esperado e rode o conjunto antes e depois de cada mudança. Inclua casos difíceis e de exceção, e compare qualidade e tempo juntos. Se a qualidade cair, desfaça o ajuste e investigue outro ponto da cadeia.

Fontes

• OpenTelemetry: observability concepts
• Anthropic: prompt caching
• Anthropic: Effective context engineering for AI agents
• Anthropic: Writing effective tools for agents