Modelos pequenos de IA na empresa: quando bastam e como testar

Modelos pequenos de IA na empresa: quando bastam e como testar

Modelos pequenos de linguagem (SLM) costumam bastar para tarefas fechadas e repetitivas, como classificar mensagens, extrair campos de documentos e rotear pedidos para a fila certa. Para saber se bastam na sua empresa, não confie em opinião: monte um conjunto de exemplos reais, rode o modelo pequeno e um maior lado a lado e compare erros, custo e tempo de resposta. Se a diferença de qualidade não muda o resultado do processo, o modelo menor é a escolha mais simples de operar.

Principais pontos

• Modelos pequenos funcionam melhor quando a saída é curta e definida: uma categoria, um campo, um destino.
• Raciocínio longo, texto livre sensível e casos ambíguos ainda pedem um modelo maior ou revisão humana.
• O teste é comparativo: os mesmos exemplos reais, o mesmo critério de correção, modelo pequeno contra modelo maior.
• Meça os erros por tipo, não só o acerto geral, e decida antes qual erro a empresa aceita.
• Uma arquitetura comum é rotear: o modelo pequeno resolve o simples e passa o difícil adiante.

O que são modelos pequenos de linguagem e por que importam para a empresa

Modelo pequeno de linguagem é um modelo com muito menos capacidade total do que os grandes modelos de fronteira. Na prática, isso significa resposta mais rápida, menor consumo de recursos e, em muitos casos, a possibilidade de rodar na sua própria infraestrutura. Não existe um tamanho oficial que separe pequeno de grande, e os nomes mudam com frequência. Por isso, decida pela tarefa, não pelo rótulo.

Para quem gerencia uma operação, o interesse é prático. Tarefas que acontecem muitas vezes por dia, como ler uma mensagem e decidir para quem ela vai, não precisam da inteligência mais cara disponível. Usar um modelo desproporcional para isso aumenta a conta de tokens e a latência sem melhorar o resultado. Se você quer entender de onde vem esse custo, vale ler o que são tokens em IA e por que eles definem o custo, mas o ponto central aqui é outro: dimensionar o modelo para o trabalho.

A própria documentação de padrões de agentes da Anthropic descreve o roteamento como um padrão em que uma entrada é classificada e encaminhada para uma tarefa seguinte especializada, e cita a ideia de mandar perguntas simples para modelos menores e as difíceis para modelos maiores. É uma orientação de arquitetura, não uma promessa de resultado. O resultado você só conhece testando com os seus dados.

Quais tarefas costumam caber em um modelo pequeno

O critério mais útil é o formato da saída. Quanto mais fechada for a resposta esperada, maior a chance de um modelo pequeno dar conta. Estas são as famílias de tarefas que mais se encaixam:

• Classificação: separar mensagens em categorias como dúvida, pedido de segunda via, reclamação, cancelamento ou assunto fora do escopo.
• Roteamento: decidir a fila, a pessoa ou o fluxo que deve receber o pedido, com base em regras que você consegue escrever.
• Extração: tirar nome, número de pedido, data, endereço ou valor de um texto curto, uma mensagem ou um formulário.
• Normalização: padronizar formatos, como datas, telefones e nomes de produtos, para entrar no sistema sem retrabalho.
• Detecção de sinais: marcar urgência, pedido de falar com humano ou presença de dado pessoal que não deveria circular.
• Resumo curto com formato fixo: transformar uma conversa em poucos campos para o atendente continuar de onde parou.

Todas têm algo em comum: existe uma resposta certa que uma pessoa do time consegue conferir rapidamente. Isso é o que torna o teste possível. Em extração de documentos mais longos, como PDFs com tabelas, a dificuldade muda de natureza e o formato do arquivo pesa mais do que o tamanho do modelo. O texto sobre extrair dados de PDF com IA, com campos, regras e conferência humana aborda esse cuidado.

Quais tarefas ainda pedem um modelo maior ou uma pessoa

Nem tudo cabe em um modelo pequeno, e fingir o contrário gera retrabalho. Fique atento a estes sinais de que a tarefa exige mais:

• Raciocínio em várias etapas, como cruzar contrato, histórico e política para decidir uma exceção.
• Texto livre longo e ambíguo, em que o contexto muda o sentido da resposta.
• Redação que precisa de tom, nuance e cuidado com a marca, como uma resposta a uma reclamação delicada.
• Uso de ferramentas com consequência, como alterar cadastro, emitir algo ou mexer em dinheiro.
• Perguntas que dependem de muito material de apoio na mesma consulta, o que consome a janela de contexto.

Nesses casos, o caminho comum não é trocar tudo por um modelo grande, e sim combinar. O modelo pequeno faz a triagem, e o que sai da zona de conforto sobe para um modelo maior ou para uma pessoa. Decisões que afetam direitos de alguém pedem ainda mais cuidado, e vale conhecer o que a LGPD diz sobre decisões automatizadas e o direito de revisão. Também há tarefas que simplesmente não devem ser delegadas, tema do artigo sobre o que não delegar a IA na empresa.

Como testar um modelo pequeno contra um modelo maior

O teste não precisa ser sofisticado, mas precisa ser honesto. A ideia é tirar a escolha do campo da intuição. A documentação de avaliações da OpenAI e o material da Anthropic sobre avaliações de agentes partem do mesmo princípio: defina o que é sucesso, reúna casos representativos e meça de forma repetível. Um roteiro enxuto:

• Passo um: escreva a tarefa em uma frase e liste as saídas permitidas. Se não consegue listar, a tarefa ainda está vaga demais.
• Passo dois: colete exemplos reais e recentes, incluindo os casos feios, como mensagens com erro de digitação, áudio transcrito, gírias e pedidos duplos. Remova ou mascare dados pessoais conforme a LGPD antes de compartilhar.
• Passo três: peça a uma pessoa do time para rotular a resposta correta de cada exemplo. Esse é o gabarito. Separe um grupo de exemplos que você não usa para ajustar instruções.
• Passo quatro: rode o modelo maior e o modelo pequeno com as mesmas instruções, a mesma entrada e a mesma exigência de formato de saída.
• Passo cinco: compare por tipo de erro, não só pelo total de acertos. Errar a categoria de uma dúvida simples é diferente de deixar passar um pedido de cancelamento ou uma reclamação grave.
• Passo seis: melhore as instruções do modelo pequeno, com exemplos e definições mais claras das categorias, e rode de novo no grupo separado. Muita diferença inicial some com instruções melhores.
• Passo sete: registre também tempo de resposta, falhas de formato e custo por tarefa, usando a mesma unidade para os dois modelos.
• Passo oito: decida com uma regra escrita antes do teste, por exemplo: o modelo pequeno é aceito se não errar nos tipos de erro críticos e se os erros restantes forem recuperáveis por revisão.

Um cuidado frequente: usar o modelo maior como juiz do menor sem conferir o juiz. Isso pode funcionar como apoio, mas o gabarito de referência deve vir de gente que conhece o processo. Para pensar em métricas e critérios de decisão de um piloto, o texto sobre como medir um piloto de automação com IA complementa este roteiro.

Cenário ilustrativo: triagem de mensagens de uma loja de materiais

Imagine uma loja de materiais de construção que recebe mensagens no WhatsApp sobre orçamento, entrega, troca e cobrança. Hoje uma pessoa lê tudo e encaminha. A empresa quer que uma IA indique a categoria e extraia o número do pedido, quando houver. Este é um cenário ilustrativo, não um caso real.

O time reúne um conjunto de conversas antigas, mascara nomes e telefones, e uma atendente experiente marca a categoria correta e o número do pedido de cada uma. Em seguida, rodam o modelo pequeno e um modelo maior com as mesmas instruções. Ao comparar, descobrem que o modelo pequeno acerta bem as categorias comuns, mas confunde troca com reclamação quando a mensagem é longa e emocional, e às vezes pega um número de endereço no lugar do número do pedido.

Em vez de abandonar o modelo pequeno, o time ajusta as definições, adiciona exemplos de troca e reclamação, e cria uma regra: quando o modelo pequeno não tem confiança ou a mensagem é longa, a conversa sobe para o modelo maior ou para uma pessoa. A extração do número do pedido passa por uma validação simples contra o formato esperado. O resultado desse desenho é um fluxo em que o modelo pequeno cuida do volume e o restante é tratado com mais cuidado, com registro de cada decisão.

Custo, latência, privacidade e operação: o que mais pesa na escolha

A qualidade da resposta é só um dos critérios. Na operação, outros quatro costumam decidir:

• Custo por tarefa: modelos menores tendem a custar menos por chamada, o que importa quando o volume é alto. Técnicas como cache de instruções também ajudam, como mostra o artigo sobre como reduzir custo de tokens com cache, roteamento e compactação.
• Latência: em atendimento por mensagem, uma resposta rápida de classificação melhora o fluxo todo, porque as etapas seguintes começam mais cedo.
• Privacidade: rodar um modelo na própria infraestrutura pode reduzir o envio de dados para fora, o que ajuda em questões de LGPD, embora não elimine a necessidade de controle de acesso e de base legal. Para esse caminho, veja Ollama na empresa: como rodar um modelo local sem improvisar.
• Manutenção: um modelo próprio exige que alguém cuide de atualização, monitoramento e capacidade. Um modelo contratado como serviço transfere parte disso, mas cria dependência de fornecedor.

Nenhum desses critérios é decisivo sozinho. Um modelo local mais barato que erra tipos críticos não ajuda, e um modelo excelente que a equipe não consegue operar também não. Por isso, as saídas do modelo, pequeno ou grande, devem passar por validações. O artigo sobre guardrails para agentes de IA, com entrada, saída e ação detalha como fazer isso.

Como o método mapear, limitar, pilotar e transferir se aplica

A escolha do tamanho do modelo cabe naturalmente no método que usamos. Em mapear, descrevemos o processo atual e medimos a linha de base: quantas mensagens, quais categorias, quanto tempo e quais erros acontecem hoje. Em limitar, definimos quais dados o modelo vê e quais ações ele pode tomar, e classificar ou extrair costuma ser um começo de baixo risco porque a IA sugere e o sistema valida.

Em pilotar, escolhemos um fluxo real, com logs e um critério de sucesso combinado, e é aí que o teste comparativo entre modelo pequeno e maior acontece. Em transferir, entregamos o fluxo com o registro das decisões e a regra de revisão, e a empresa decide se expande, ajusta ou para. Se o modelo pequeno não passar no teste, isso também é um resultado útil.

Perguntas frequentes

Modelo pequeno de linguagem serve para atendimento no WhatsApp? Serve bem para etapas fechadas do atendimento, como identificar a intenção da mensagem, extrair o número do pedido e escolher a fila. Para respostas longas, com tom delicado ou que exigem consultar vários documentos, vale usar um modelo maior ou deixar um humano revisar. O ideal é testar com mensagens reais antes de decidir.

Quantos exemplos preciso para testar um modelo pequeno contra um maior? Não há um número mágico. Você precisa de exemplos suficientes para cobrir todas as categorias, incluindo os casos raros e os mais difíceis, e de um grupo separado que não use para ajustar as instruções. Comece com o que a equipe consegue rotular com cuidado e aumente se os resultados ficarem instáveis.

Posso usar o modelo maior só quando o pequeno tiver dúvida? Sim, e é um desenho comum de roteamento. O modelo pequeno resolve o caso claro e escala o ambíguo, seja por regra, seja por um sinal de baixa confiança. Teste também essa regra de escalonamento, porque ela pode falhar, e mantenha um caminho para uma pessoa assumir.

Rodar um modelo pequeno na própria empresa resolve a LGPD? Não resolve sozinho. Manter os dados dentro da sua infraestrutura pode reduzir riscos de transferência, mas a empresa ainda precisa de base legal, finalidade clara, controle de acesso, retenção definida e registro do que o sistema faz. Para dúvidas específicas, consulte um profissional jurídico e as orientações da ANPD.

Fontes

• Anthropic: Building effective agents
• Anthropic: Demystifying evals for AI agents
• OpenAI: Evals guide
• ANPD: Autoridade Nacional de Proteção de Dados