
Consultoria de superinteligência: os entregáveis que você deve cobrar
Quais artefatos uma consultoria séria entrega, do mapa de processo ao decision log, e como cobrar cada um para saber se o projeto avançou de verdade.
Quer aplicar isso na sua empresa?
Agendar conversa com o Juan →Uma consultoria séria de superinteligência, na prática, é um trabalho de diagnóstico, desenho e operação de sistemas de IA dentro de processos de negócio, e o valor aparece em artefatos concretos: mapa do processo, linha de base, regras de limite, piloto com logs e uma decisão registrada sobre expandir, ajustar ou parar. Se o fornecedor não consegue apresentar esses itens com nome, dono e forma de revisão, o gestor tem pouca forma de saber se houve avanço.
Principais pontos
- Mapa do processo atual, com linha de base medida antes de qualquer mudança
- Matriz de limites que define dados acessíveis, ações permitidas e aprovações humanas obrigatórias
- Piloto de um fluxo real, com critério de sucesso escrito antes do início e um dono do resultado
- Decision log que registra o que o agente fez, com quais fontes e por que houve transferência
- Plano de transferência que termina em uma decisão explícita: expandir, ajustar ou encerrar
Por que o rótulo importa menos que o entregável
O termo superinteligência é usado de forma muito solta no mercado, o que torna a conversa vaga logo no começo. Para quem decide, a pergunta útil não é se o fornecedor usa a palavra, e sim se ele consegue mostrar documentos que permitem verificar o trabalho. O glossário de superinteligência para a diretoria ajuda a separar conceito, ferramenta e operação.
Em operação real, um agente de IA é um conjunto de partes: um modelo, instruções, acesso a dados, ferramentas, regras de escalonamento e registros. Cada uma dessas partes deve aparecer em algum documento. Quando a proposta fica apenas em promessa geral, o caminho é pedir os artefatos, não a definição.
O mapa do processo e a linha de base
O primeiro entregável sério é o mapa do processo como ele funciona hoje, e não como deveria funcionar. Ele precisa mostrar quem faz cada etapa, onde há espera, quais exceções acontecem e quem decide sobre elas. Sem esse mapa, qualquer automação tende a resolver o caso fácil e empurrar o difícil para a equipe sem que ninguém perceba.
O mapa deve conter, no mínimo:
- O gatilho de cada atendimento, seja mensagem no WhatsApp, e-mail, formulário ou ligação
- As etapas, os responsáveis e os pontos em que o pedido fica parado
- As exceções conhecidas e quem tem autoridade para resolvê-las
- O volume aproximado por canal e por horário, obtido de registros que a empresa já tem
- Os erros mais frequentes e quanto tempo da equipe cada um consome para ser corrigido
A linha de base é a fotografia do processo antes da mudança. Pode ser uma amostra de conversas lidas manualmente, um recorte de planilha ou o histórico do sistema de chamados. O objetivo não é ter um número perfeito, e sim ter um ponto de comparação que a empresa aceite como honesto. Sem linha de base, qualquer melhoria depois vira opinião.
Matriz de limites: dados, ações e aprovações
Este é o artefato que mais protege a empresa e, por isso, o que mais deve ser lido com cuidado. A matriz de limites responde a três perguntas: o que o agente pode ler, o que ele pode fazer sozinho e o que exige uma pessoa. Quando envolve dados pessoais de clientes, a LGPD pede que o tratamento seja limitado à finalidade, o que na prática significa dar ao agente apenas os campos necessários para aquela tarefa.
A matriz deve conter:
- Os dados que o agente pode consultar, com a finalidade de cada um
- Os dados que ele não grava, não repassa e não usa para outras finalidades
- As ações que pode executar sem aprovação, como consultar status ou sugerir horários dentro de uma regra fixa
- As ações que exigem aprovação humana, como exceções de prazo, descontos, reembolsos ou alterações cadastrais
- As situações que obrigam a transferência para um atendente, como reclamação grave, pedido de cancelamento ou sinal de urgência
Também cabe discutir o que não precisa de IA. Como a Anthropic descreve em seu material sobre agentes, fluxos com etapas fixas e regras claras costumam ser mais previsíveis do que agentes que decidem o próximo passo sozinhos. Em processo de negócio, a combinação mais segura costuma ser automação determinística para o que é regra, com IA apenas onde existe julgamento. Mensagens de clientes também devem ser tratadas como entrada não confiável, porque podem tentar sobrescrever instruções. O OWASP Top 10 para aplicações com LLM lista esse tipo de risco e serve de referência para a revisão.
Piloto com um fluxo real e critério de sucesso
O piloto deve ser pequeno de propósito. Um canal, um tipo de pedido, um horário definido. A tentação de ligar tudo de uma vez é comum e costuma esconder o que não funcionou. Antes de expor clientes, convém testar com dados simulados em ambiente isolado, como descreve o artigo sobre testes de agentes com mocks e sandbox.
Um checklist mínimo para o piloto:
- Critério de sucesso escrito antes do início, com uma métrica e uma condição clara de parada
- Dono do processo na empresa, com autoridade para decidir sobre exceções
- Período de observação com revisão periódica de conversas escolhidas ao acaso, e não apenas das que deram errado
- Lista de casos de teste que inclua perguntas fora do escopo e tentativas de desviar o agente de sua função
- Plano de reversão que volte o atendimento ao modo manual de forma imediata
Cenário ilustrativo: uma loja de peças decide testar o agente apenas para perguntas sobre status de pedido, em horário comercial. O critério é que toda resposta sobre status seja conferida contra o sistema de pedidos e que qualquer solicitação de reembolso vá para a fila humana. Após algumas semanas de revisão, a equipe percebe perguntas sobre prazo de entrega em casos específicos que não estavam no escopo, e decide ampliar a regra de transferência antes de pensar em qualquer expansão.
Decision log: o registro que sustenta a cobrança
O decision log é o documento que mostra o que o sistema fez, em cada caso, e por quê. Ele é a base para cobrar resultado porque transforma o trabalho do agente em algo auditável. Sem ele, a empresa só conhece o que o cliente reclamou, e não o que aconteceu nos casos que deram certo.
Cada registro deve conter, no mínimo:
- Identificador da conversa e canal de origem
- Resumo da entrada e a intenção identificada
- Fontes consultadas e a versão das instruções que estava em vigor
- A ação tomada, incluindo a resposta enviada e os sistemas acessados
- O motivo da transferência para humano, quando ela ocorreu
- A revisão posterior feita por uma pessoa e a correção registrada, se houve
O registro precisa ser útil sem virar um arquivo de dados pessoais desnecessários. Por isso, a consultoria deve definir por quanto tempo os logs ficam guardados, quem pode lê-los e quais campos são mascarados. Como ponto de partida para conceitos de observabilidade, vale conhecer a ideia de rastreamento de eventos, que a documentação do OpenTelemetry explica de forma geral.
Avaliações antes de liberar e depois de cada mudança
Avaliação, ou eval, é um conjunto de casos com resultado esperado que roda sempre que as instruções, as ferramentas ou o modelo mudam. Ela evita que uma correção em um ponto estrague outro sem que ninguém perceba. O guia de evals da OpenAI descreve a lógica geral desse tipo de teste, e a própria consultoria deve mostrar seus casos e a última rodada de resultados.
O NIST AI Risk Management Framework organiza a gestão de riscos de IA em funções de governar, mapear, medir e gerenciar. Esse arcabouço serve como roteiro de perguntas para o fornecedor: quem responde pelos riscos, como eles foram identificados, como são medidos e o que acontece quando um deles se materializa.
Transferência, decisão e o método de Juan Carlo
Na forma como trabalhamos, o processo segue quatro movimentos: mapear o processo e a linha de base, limitar dados e ações, pilotar um fluxo real com logs e uma métrica acordada, e transferir com uma decisão de expandir, ajustar ou parar. A sequência existe para que a empresa saiba, a cada etapa, o que foi entregue e o que ainda não foi comprovado. Os detalhes de como essa atuação se organiza estão no texto sobre como Juan Carlo trabalha com empresas.
A transferência só é séria quando deixa a operação nas mãos de alguém da empresa, com documentação suficiente para isso. Entre os itens esperados:
- Runbook com instruções do agente, limites, procedimento de transferência e contatos de escalonamento
- Responsável interno e um substituto para decisões que o agente não deve tomar sozinho
- Cadência de revisão de logs e de avaliações, com quem faz e com que frequência
- Registro de incidentes e de como cada um foi tratado
- Decisão final, escrita e assinada por quem tem autoridade, sobre expandir, ajustar ou encerrar
Checklist para cobrar resultado concreto
Antes de aprovar a próxima etapa de um projeto, o gestor pode fazer algumas perguntas objetivas. Boas respostas costumam vir com documento, não só com explicação verbal.
- Mostre o mapa do processo usado como base e quem validou essa versão na empresa
- Quais dados o agente acessa e por que cada campo é necessário para a tarefa
- Qual é o critério de sucesso do piloto e quem decide se ele foi atingido
- Onde estão os logs e quais pessoas da empresa conseguem lê-los
- Quais casos de teste falharam na última revisão e o que foi alterado em seguida
- Quem assume a operação depois da transferência e como ele é treinado
Perguntas frequentes
Consultoria de superinteligência é o mesmo que contratar um chatbot? Não necessariamente. Um chatbot é uma ferramenta, e a consultoria deveria cobrir o que vem antes e depois dela: diagnóstico do processo, limites, piloto, registros e transferência. Se o escopo se resume à configuração de uma ferramenta, faltam os artefatos que permitem avaliar o resultado.
É preciso entender de programação para cobrar esses entregáveis? Não. O gestor precisa entender o processo, os riscos para o cliente e o que significa uma decisão de negócio. Os documentos descritos acima foram pensados para serem lidos por quem decide, e um fornecedor sério deve conseguir explicá-los sem jargão.
Quando faz sentido parar um piloto? Faz sentido quando o critério de parada escrito no início é atingido, ou quando a revisão mostra erros que a equipe não consegue corrigir dentro das regras definidas. Parar também é uma decisão válida e registrada, e não um fracasso do projeto. O importante é que a escolha seja feita com base nos logs e não na impressão de quem está mais próximo do problema.
O que fazer se o fornecedor não consegue apresentar um decision log? Peça que ele explique como o registro seria gerado antes de qualquer expansão, quais campos existem e quem terá acesso. Se a resposta continuar vaga, a expansão deve esperar. Sem registro, a empresa não consegue verificar o que o sistema fez, e portanto não consegue cobrar o resultado.