
Preparar a empresa para modelos mais capazes: princípios de desenho
Princípios de desenho para a operação se beneficiar de modelos de IA melhores sem reescrever processos: dados organizados, permissões e avaliações.
Quer aplicar isso na sua empresa?
Agendar conversa com o Juan →Preparar a empresa para modelos mais capazes significa desenhar a operação de modo que um modelo melhor possa substituir o atual sem reescrever processos, integrações e controles. Isso depende de quatro decisões: dados organizados e com dono, permissões mínimas para o agente, limites e aprovação humana nas ações de impacto, e avaliações que medem o resultado do negócio, e não apenas a qualidade do texto. Quem faz isso antes de precisar não troca de modelo como quem reconstrói o sistema inteiro.
Principais pontos
- Mantenha as regras do negócio fora do prompt: preço, prazo, elegibilidade e políticas devem estar em fontes documentadas e, quando possível, em sistemas determinísticos.
- Organize os dados com dono, formato, data de atualização e canal oficial antes de conectar qualquer agente a eles.
- Dê ao agente apenas as ferramentas e permissões que a tarefa exige, com aprovação humana para envios, cobranças, cancelamentos e alterações cadastrais.
- Crie avaliações com casos reais da sua operação e critérios de sucesso definidos antes de testar um modelo novo.
- Registre entradas, decisões, transferências para humanos e erros, para que qualquer melhoria seja medida e não apenas percebida.
O que significa "sem reescrever" na prática?
Um modelo é um componente dentro de um fluxo. Quando a empresa trata o modelo como peça trocável, ela precisa definir contratos claros em volta dele: quais informações entram, qual formato de saída é esperado, quais ferramentas podem ser chamadas e o que acontece quando a resposta não é confiável. Se esses contratos existem, trocar o modelo muda a qualidade da interpretação e da redação, mas não muda a forma como o sistema consulta o cadastro, registra o atendimento ou encaminha um caso para uma pessoa.
O erro mais comum é colocar tudo no prompt: regras de exceção, lista de produtos, tabela de prazos e instruções de tom em um único bloco de texto. Esse texto parece funcionar com um modelo específico, mas fica frágil quando o modelo muda, quando a regra muda ou quando alguém precisa auditar uma resposta. Para uma leitura mais detalhada sobre a diferença entre o que a IA faz e o que sistemas tradicionais devem fazer, vale a pena comparar com o conteúdo sobre o que é superinteligência e o que o ChatGPT não é.
Como organizar os dados para que um modelo melhor aproveite?
Modelos mais capazes raciocinam melhor sobre a informação que recebem, mas não compensam dados contraditórios. Se o catálogo diz uma coisa, a planilha de vendas diz outra e o atendente usa um terceiro critério, o agente vai reproduzir essa confusão com mais fluência. Por isso, antes de conectar um agente, vale definir uma fonte oficial para cada tipo de informação e registrar quem responde por ela.
Alguns campos mínimos ajudam bastante: identificador único do cliente ou do pedido, status com valores fechados, data da última atualização, responsável pela informação e indicação do que é público e do que é restrito. O tema tem relação direta com a LGPD. Antes de enviar dados pessoais a um provedor externo, é preciso saber a finalidade, a base legal e as condições de transferência. Para isso, consulte o conteúdo sobre transferência internacional de dados com IA e o que a LGPD exige. Organizar dados também é aplicar minimização: o agente só deve receber o que a tarefa precisa. Um aprofundamento prático está em dados organizados para superinteligência: o que padronizar antes.
Quais permissões o agente deve ter?
O princípio que orienta essa parte é o de menor privilégio: cada agente, integração e token deve ter somente o acesso necessário para a função. Na prática, isso significa separar leitura de escrita, limitar cada ferramenta a um conjunto específico de ações e impedir que um único agente consulte, altere e envie mensagens em todos os sistemas. Autorização deve ser verificada no sistema de destino, e não apenas declarada no prompt. A orientação da OWASP sobre autorização reforça esse ponto.
Há também um risco específico de modelos de linguagem: conteúdo externo, como uma mensagem de cliente, um e-mail ou uma página web, pode conter instruções que tentam mudar o comportamento do agente. A OWASP descreve esse problema como injeção de prompt e recomenda tratar qualquer texto externo como dado, não como comando, além de limitar o que o agente consegue fazer mesmo quando é enganado.
Cenário ilustrativo: uma empresa de serviços usa um agente no WhatsApp para consultar a situação de uma ordem de serviço. O agente pode ler o status e a data prevista. Ele não pode reagendar visitas, alterar valores ou conceder exceções de garantia. Quando o cliente pede uma exceção, o agente registra o pedido com o contexto e transfere para um atendente com permissão. Se um modelo mais capaz for adotado amanhã, o desenho continua valendo, porque a decisão sensível nunca dependeu da capacidade do modelo.
Como montar avaliações que sobrevivem a trocas de modelo?
Sem avaliação, a troca de modelo vira aposta. A forma mais útil de começar é reunir de 30 a 50 casos reais da operação, incluindo perguntas comuns, casos ambíguos, pedidos fora de escopo e tentativas de fuga do fluxo. Para cada caso, defina o comportamento esperado: a resposta correta, a ação que deve ser tomada, o que não pode ser dito e quando a transferência para um humano é obrigatória. Esse conjunto deve ser executado sempre que o modelo, o prompt ou uma ferramenta mudar.
A documentação da OpenAI sobre evals descreve esse tipo de teste como uma forma de medir o comportamento do sistema contra critérios explícitos. A Anthropic também publicou material sobre avaliações para agentes, que destaca a importância de medir tarefas completas e não apenas respostas isoladas. Para testar sem expor clientes reais, vale usar ambientes de simulação, como descrito no conteúdo sobre testar agente de IA com mocks e sandbox.
O critério de sucesso precisa ser do negócio. Métricas como tempo até a primeira resposta, taxa de transferência desnecessária, número de erros de informação e casos resolvidos sem retrabalho dizem mais do que uma nota de qualidade de texto. Uma avaliação útil também guarda os casos que falharam, porque eles viram o próximo conjunto de testes.
Que registros e observabilidade manter?
A operação precisa conseguir responder a três perguntas depois de qualquer incidente: o que foi pedido, o que o sistema fez e por que fez. Isso exige registrar a entrada, a versão do modelo e do prompt, as ferramentas chamadas, a resposta entregue e o motivo de qualquer transferência para um humano. Os conceitos de observabilidade, como traços, métricas e eventos, são descritos na documentação do OpenTelemetry, e o projeto também tem convenções específicas para sistemas de IA generativa.
Os registros devem respeitar a privacidade. Não é necessário guardar tudo em texto integral para cada finalidade. Em muitos casos, basta guardar identificadores, decisões e trechos mínimos, com prazo de retenção definido. Esse equilíbrio entre rastreabilidade e minimização deve ser decidido com o responsável jurídico ou com o encarregado de dados da empresa.
Plano em seis passos para começar
A sequência abaixo serve como roteiro para qualquer área que queira se preparar sem parar a operação:
- Liste os três fluxos com maior volume e maior custo de erro, e descreva como cada um funciona hoje, incluindo as exceções que as pessoas resolvem de cabeça.
- Para cada fluxo, identifique as fontes de informação, o dono de cada uma e os campos que estão desatualizados ou em conflito.
- Separe as ações em três grupos: consultar, sugerir e executar. Defina quais podem ser feitas pelo agente e quais exigem aprovação.
- Escreva as regras determinísticas fora do prompt, em tabelas, sistemas ou documentos oficiais que o agente consulta.
- Monte um conjunto de 30 a 50 casos reais com o comportamento esperado e rode esse conjunto antes de qualquer troca de modelo.
- Defina um registro mínimo de decisões e um responsável pela revisão semanal dos casos transferidos e dos erros.
Depois desse roteiro, a troca de modelo deixa de ser um projeto de reescrita. Ela vira uma mudança configurada, testada contra o conjunto de avaliações e liberada com um plano de volta atrás.
A forma como trabalhamos segue quatro etapas: mapear o processo atual e a linha de base, limitar dados e ações, pilotar um fluxo real com registros e uma métrica de sucesso combinada, e então transferir a operação e decidir se ela será expandida, ajustada ou interrompida. Essa lógica é a mesma que torna a empresa preparada para modelos melhores: quando o piloto tem limites e métricas, a substituição do modelo é uma decisão de dados, não de fé.
Quais decisões continuam sendo humanas?
Modelos mais capazes ampliam o que pode ser automatizado, mas não eliminam a responsabilidade da empresa. Políticas de exceção, reparação de danos, decisões que afetam direitos de clientes e funcionários e a escolha de quando parar um agente continuam sendo decisões de pessoas com autoridade. A LGPD trata de decisões automatizadas e do direito de revisão, e o tema é detalhado no conteúdo sobre decisões automatizadas e o artigo 20 da LGPD.
Também vale acompanhar o ambiente regulatório brasileiro para a IA, que pode trazer obrigações novas para empresas que usam sistemas automatizados. Um resumo prático está em marco legal da IA no Brasil: o que sua empresa deve acompanhar. Preparar a operação hoje, com limites e registros, reduz o trabalho de adequação futura, independentemente do modelo escolhido.
Perguntas frequentes
O que significa preparar a empresa para modelos mais capazes? Significa desenhar a operação para que a troca ou a atualização do modelo não exija reescrever processos, integrações e controles. Isso passa por dados organizados, permissões mínimas, regras fora do prompt e avaliações baseadas em casos reais. Quando esses elementos existem, o modelo é tratado como um componente substituível.
Precisa esperar a superinteligência para começar? Não. As decisões de desenho que tornam a operação preparada, como organização de dados, menor privilégio e registros de decisão, são úteis com os modelos atuais e continuam úteis com qualquer evolução. Esperar por um cenário incerto só atrasa a organização que já é necessária. Começar pequeno, com um fluxo real e uma métrica combinada, é a forma mais prática de avançar.
Como saber se o modelo novo é melhor para a minha operação? A resposta depende de um conjunto de avaliações construído a partir dos seus casos reais, com critérios de sucesso definidos pelo negócio. Execute o mesmo conjunto com o modelo atual e com o novo, compare os resultados e observe os casos que falharam. Benchmarks públicos ajudam a comparar tendências, mas não substituem o teste na sua operação.
Posso usar um modelo melhor sem enviar dados pessoais para fora do Brasil? Depende da arquitetura, do provedor e das condições contratuais, e a análise precisa ser feita caso a caso com apoio jurídico. Uma prática útil é minimizar os dados enviados, mascarar identificadores quando possível e avaliar se um modelo hospedado localmente atende ao caso. A LGPD exige que a finalidade, a base legal e as condições de transferência estejam claras antes do uso.