O que são tokens em IA e por que eles definem o custo

O que são tokens em IA e por que eles definem o custo

Token é a menor unidade de texto que um modelo de IA processa: pode ser uma palavra inteira, um pedaço de palavra, um sinal de pontuação ou um espaço. Os provedores cobram e limitam o uso em tokens, e não em palavras ou mensagens, por isso o número de tokens que entra e sai de cada chamada é o que define o custo de um sistema de IA.

Principais pontos

• Token não é palavra: o modelo quebra o texto em pedaços, e o português costuma gerar mais pedaços por frase do que o inglês.
• Toda chamada tem dois lados medidos separadamente: tokens de entrada (o que você envia) e tokens de saída (o que o modelo escreve).
• Em uma conversa, o histórico é reenviado a cada turno, então a entrada cresce mesmo quando as mensagens são curtas.
• Entrada e saída costumam ter preços unitários diferentes, e a saída costuma pesar mais por token. Confirme a tabela do provedor que você usa.
• Estimar o consumo antes de lançar é simples: some instruções, histórico, dados consultados e resposta, e multiplique pelo volume esperado.

O que são tokens em IA, na prática?

Um modelo de linguagem não lê letras nem palavras como uma pessoa. Antes de processar, um componente chamado tokenizador converte o texto em uma sequência de unidades. Cada unidade recebe um número, e é com esses números que o modelo trabalha. Na resposta, ele gera token por token, e o tokenizador converte tudo de volta em texto legível.

O tamanho de cada pedaço depende do vocabulário do tokenizador. Palavras comuns e curtas tendem a virar um token só. Palavras longas, raras, com acento ou com sufixos pouco frequentes tendem a ser divididas em vários. Números, códigos, e-mails e nomes próprios também costumam gastar mais tokens do que parecem.

Um exemplo hipotético, só para ilustrar a ideia (a divisão real muda de modelo para modelo):

• A palavra "casa" pode ocupar um token.
• A palavra "atendimento" pode ser dividida em dois ou três pedaços.
• A palavra "desburocratização" pode ser dividida em vários pedaços menores.
• Um número de pedido como "PED-20481-B" pode virar muitos tokens curtos, porque o tokenizador não reconhece um padrão comum.

A consequência prática: contar palavras dá uma noção, mas não dá o número. Cada família de modelos tem seu tokenizador, e o mesmo texto pode render quantidades diferentes de tokens em provedores diferentes. Quando o valor importa, use a ferramenta de contagem do próprio provedor, ou o campo de uso que a resposta da API devolve.

Por que o português costuma gastar mais tokens?

Os tokenizadores mais conhecidos foram treinados com muito texto em inglês, então o vocabulário deles representa melhor palavras inglesas. O português tem acentos, cedilha, conjugações extensas e palavras compridas, o que tende a gerar mais divisões. O efeito varia por modelo, e modelos mais novos costumam lidar melhor com idiomas diferentes do inglês, mas o ponto de partida seguro é não assumir que um texto em português ocupa o mesmo espaço que seu equivalente em inglês.

Isso afeta duas decisões. A primeira é orçamento: uma estimativa feita com regras prontas de blogs em inglês pode ficar abaixo do real. A segunda é o desenho das instruções: um texto de instruções prolixo, em português, repetido em todas as chamadas, vira custo fixo por mensagem.

A recomendação é medir com textos reais da sua operação. Pegue dez conversas típicas, passe pelo contador do provedor e use a média como base, com uma margem para os casos longos.

Por que entrada e saída pesam diferente?

Todo provedor de modelos de linguagem separa o uso em pelo menos dois contadores. Tokens de entrada são tudo o que você manda: instruções, histórico, documentos, a pergunta. Tokens de saída são tudo o que o modelo escreve de volta, incluindo, em alguns modelos com raciocínio estendido, o trecho de raciocínio interno que o provedor contabiliza como saída. Confirme esse detalhe na documentação do modelo que você contrata.

Existem motivos técnicos para os preços serem diferentes. Ler a entrada pode ser feito em paralelo, enquanto gerar a saída acontece em sequência, um token depois do outro, e consome mais tempo de computação. Por isso, na maioria das tabelas públicas, o preço unitário da saída é maior que o da entrada. Os valores e a proporção mudam com o tempo e entre modelos, então eles não entram aqui: consulte sempre a página de preços atual.

Da diferença de preço saem duas leituras que parecem opostas, mas se complementam:

• Volume: a entrada costuma ser muito maior que a saída, porque carrega instruções e histórico a cada chamada.
• Preço unitário: a saída custa mais por token, então respostas longas e verbosas encarecem a conta de forma desproporcional.

Ou seja, otimizar só um dos lados deixa dinheiro na mesa. Um agente que escreve respostas enormes pesa na saída. Um agente com instruções gigantes e histórico sem limite pesa na entrada.

Como a conversa vai acumulando tokens?

Modelos de linguagem não têm memória entre chamadas. Para que a conversa faça sentido, o sistema reenvia o histórico inteiro (ou um resumo dele) junto com cada nova mensagem. Isso significa que o turno dez custa mais de entrada que o turno um, mesmo que o cliente tenha escrito apenas "ok, obrigado".

O limite técnico dessa soma é a janela de contexto, o total de tokens que o modelo consegue considerar de uma vez. Se quiser entender esse limite e como evitar estourá-lo, vale ler o texto sobre janela de contexto em IA. Aqui o ponto é o lado financeiro: antes de estourar o limite, o histórico longo já aumentou a conta.

Em atendimento por WhatsApp, isso é comum. Conversas são picotadas em muitas mensagens curtas, e cada uma dispara uma nova chamada com tudo que veio antes. Para ver como esse fluxo se organiza do lado técnico, o guia de integração de IA no WhatsApp da empresa mostra as peças envolvidas.

Como estimar o consumo de uma conversa, passo a passo

O método abaixo funciona em uma planilha e não depende de nenhuma ferramenta específica.

• Liste os blocos de cada chamada: instruções fixas, histórico, dados consultados (catálogo, política, ficha do cliente), mensagem nova e resposta.
• Meça cada bloco em tokens com o contador do provedor, usando textos reais e não exemplos limpos.
• Calcule a entrada do turno: instruções, mais histórico acumulado, mais dados consultados, mais a mensagem nova.
• Some a entrada de todos os turnos de uma conversa típica, e separadamente some a saída.
• Multiplique cada soma pelo preço unitário correspondente na tabela vigente do provedor.
• Multiplique pelo número de conversas esperado no período e acrescente uma margem para conversas longas e reprocessamentos.
• Divida o total pelo resultado útil (conversa resolvida, orçamento enviado, agendamento feito) para chegar ao custo por unidade de trabalho.

O último passo é o mais importante para quem decide. O custo por token só faz sentido quando convertido em custo por resultado, e é isso que a prática de unit economics descrita pela FinOps Foundation propõe: ligar o gasto a uma unidade de valor de negócio.

Cenário ilustrativo: cinco turnos de atendimento

Os números abaixo são hipotéticos e servem apenas para mostrar a mecânica. Suponha uma loja que atende pelo WhatsApp com um agente de IA. As instruções fixas do agente somam 1.500 tokens. Cada mensagem do cliente tem 40 tokens e cada resposta do agente tem 120 tokens. A conversa tem cinco turnos.

A entrada de cada turno é a soma das instruções, do histórico e da mensagem nova:

• Turno 1: 1.540 tokens de entrada.
• Turno 2: 1.700 tokens de entrada.
• Turno 3: 1.860 tokens de entrada.
• Turno 4: 2.020 tokens de entrada.
• Turno 5: 2.180 tokens de entrada.

A entrada total da conversa é 9.300 tokens. A saída total é 600 tokens (cinco respostas de 120). Há mais de quinze vezes mais tokens de entrada que de saída, mas a saída tem preço unitário maior, então não dá para ignorá-la. Nesse desenho, o que domina o volume são as instruções repetidas: 1.500 tokens enviados cinco vezes somam 7.500 dos 9.300 de entrada.

A leitura para o gestor é direta. Antes de pedir respostas mais curtas, vale olhar o tamanho das instruções e se o provedor oferece cache do trecho fixo. Esse é o tema do texto sobre como reduzir custo de tokens com cache, roteamento e compactação, e a documentação de prompt caching da Anthropic descreve como esse mecanismo funciona em um provedor específico.

Onde o consumo costuma escapar do controle

Depois que o sistema está no ar, alguns padrões aparecem com frequência e merecem checagem:

• Instruções que crescem a cada ajuste, sem ninguém revisar o que ainda é necessário.
• Histórico enviado inteiro, sem resumo nem limite de turnos.
• Documentos longos colados na chamada quando só um trecho era relevante.
• Respostas sem limite de tamanho, em situações que pedem duas linhas.
• Repetição automática de chamadas após falha, sem teto de tentativas.
• Ferramentas que devolvem resultados enormes (listas completas, páginas inteiras) para o modelo ler.

O último ponto é menos óbvio. Em agentes que usam ferramentas, o retorno de cada ferramenta entra como entrada na chamada seguinte. A Anthropic discute esse cuidado no material sobre engenharia de contexto para agentes: colocar no contexto apenas a informação de que o modelo precisa para o próximo passo.

Para acompanhar tudo isso em produção, o ideal é registrar o uso de tokens de cada chamada junto com o tipo de tarefa. As convenções semânticas de IA generativa do OpenTelemetry já preveem atributos para esse tipo de medição, o que ajuda a não depender de um painel específico de cada fornecedor.

Como aplicar isso com método: mapear, limitar, pilotar, transferir

O controle de custo por token não precisa de um projeto à parte. Ele cabe nas quatro etapas de qualquer implantação de IA em processo de negócio.

No mapeamento, registra-se o fluxo atual e seu volume: quantas conversas, de que tamanho, com que dados. Sem esse baseline, qualquer estimativa de token é chute. Na etapa de limitar, definem-se o tamanho máximo das respostas, o número de turnos mantidos no histórico, os dados que o agente pode consultar e as ações que pode executar. No piloto, um fluxo real roda com registro de uso por chamada e uma métrica de sucesso combinada de antemão, e o custo por resultado entra nessa métrica. O texto sobre como medir um piloto de automação com IA detalha esse tipo de critério. Na transferência, a equipe recebe a planilha de estimativa, os limites configurados e a decisão sobre expandir, ajustar ou parar.

Essa separação também ajuda a distinguir o que é documentação oficial (como cada provedor conta e cobra tokens), o que é experiência de implantação (onde o consumo costuma escapar) e o que ainda é hipótese a ser validada no seu caso.

Perguntas frequentes

Um token é o mesmo que uma palavra? Não. Um token pode ser uma palavra curta, parte de uma palavra longa, um número ou um sinal de pontuação. Em português, é comum uma frase gerar mais tokens do que o número de palavras sugere, e o valor exato depende do tokenizador do modelo.

Como descubro quantos tokens meu texto tem? Use o contador de tokens do provedor que você pretende contratar, ou leia o campo de uso devolvido pela API após cada chamada, que informa tokens de entrada e de saída. Estimativas por contagem de palavras servem para uma primeira ideia, mas não substituem a medição com textos reais da sua operação.

Por que a saída costuma custar mais que a entrada? Gerar texto exige produzir um token de cada vez, em sequência, o que consome mais computação do que ler a entrada. Por isso muitas tabelas públicas cobram mais pela saída por token. Os valores e a proporção mudam entre modelos e ao longo do tempo, então confira sempre a página de preços vigente.

Dá para reduzir o consumo sem piorar a qualidade do atendimento? Em geral, sim, começando pelo que não agrega: instruções enxutas, histórico resumido, dados consultados sob demanda, limite de tamanho nas respostas e cache do trecho fixo quando o provedor oferece. Cada corte deve ser testado em conversas reais antes de ir para produção, porque economia que derruba a qualidade da resposta costuma voltar como retrabalho humano.

Fontes

• FinOps Foundation: unit economics
• Anthropic: prompt caching
• Anthropic: Effective context engineering for AI agents
• OpenTelemetry: semantic conventions for generative AI