Como identificar consultoria de IA ruim: sinais de alerta na proposta

Como identificar consultoria de IA ruim: sinais de alerta na proposta

Uma consultoria de IA ruim costuma se revelar na própria proposta: promete resultado sem ter visto o processo, fala de ferramenta antes de falar do problema e não diz o que fica com a sua empresa no fim. Para identificar o risco antes de assinar, procure promessas sem métrica, omissões sobre dados, limites e transferência, e cláusulas que prendem você ao fornecedor. Uma boa proposta é específica sobre o que será feito, o que não será feito e como você decide parar.

Principais pontos

• Promessa de resultado antes de ver o seu processo é o sinal mais barato de detectar e um dos mais confiáveis.
• O que a proposta não diz (linha de base, dados, permissões, avaliação, saída) pesa mais do que o que ela diz.
• Piloto sem métrica combinada e sem critério de parada é demonstração, não piloto.
• Dependência de contas, prompts e fluxos que ficam só com o fornecedor transforma a consultoria em aluguel de conhecimento.
• Você pode testar a proposta com perguntas simples antes de assinar, e a qualidade das respostas já é parte da avaliação.

Quais promessas numa proposta de consultoria de IA indicam risco?

Promessas não são o problema em si. O problema é a promessa que não pode ser verificada ou que não depende do que a consultoria vai descobrir. Desconfie quando aparecer algo como:

• Resultado garantido antes do diagnóstico. Ninguém sabe se um fluxo de atendimento ou de back-office vai funcionar bem antes de olhar mensagens reais, regras reais e exceções reais.
• Automação total. Frases como o agente resolve tudo sozinho ignoram que todo processo tem casos de julgamento, e que alguém precisa assumir quando a IA não deve decidir.
• Prazo e escopo fechados sem etapa de descoberta. Se a proposta já sabe o que será construído sem ter conversado com quem opera o processo, o escopo foi copiado de outro lugar.
• Tecnologia como protagonista. Uma proposta que gasta mais páginas com o modelo, a plataforma ou um método exclusivo do que com o seu processo está vendendo produto, não consultoria.
• Precisão prometida sem forma de medir. Dizer que o agente responde corretamente só tem valor se a proposta explica como a correção será avaliada e por quem.
• Casos de sucesso sem contexto. Resultado de outro cliente, sem descrever processo, dados e limites, não transfere para a sua realidade. Aliás, quem cita números de clientes sem permissão levanta outra dúvida, sobre confidencialidade.

Um teste rápido: troque o nome da sua empresa pelo de um concorrente de outro setor. Se a proposta continuar fazendo sentido sem alteração, ela é genérica demais.

O que uma boa proposta precisa dizer e muitas omitem

Omissões são mais perigosas do que exageros, porque não aparecem na leitura. Compare a proposta com esta lista e marque o que não está escrito:

• Linha de base: como o processo funciona hoje, quanto tempo leva, quem faz, onde erra. Sem isso, ninguém consegue dizer depois se melhorou.
• Dados: quais informações a IA vai ler, onde elas ficam, quem do lado do fornecedor tem acesso e o que acontece com elas ao fim do contrato. Em conversas por WhatsApp, isso envolve dados pessoais, e a LGPD no WhatsApp com IA exige base legal e registro, não apenas uma frase genérica de conformidade.
• Ações permitidas: o que o agente pode apenas consultar, o que pode escrever e o que depende de aprovação humana. Proposta que não separa leitura de escrita deixa a decisão de risco para depois.
• Transbordo humano: quando e como a conversa passa para uma pessoa, com qual contexto e em que horário. O playbook de transbordo humano mostra o nível de detalhe que se espera.
• Avaliação: quais casos de teste serão usados, quem os escreve e como falhas viram correções. A prática de avaliar agentes com exemplos reais é descrita em materiais como o guia da Anthropic sobre avaliações para agentes de IA.
• Registro de decisões: logs que permitam entender por que o agente respondeu ou agiu de certa forma.
• Custos variáveis: o que cobra uso de modelo, mensagens e infraestrutura, e quem paga cada parte. Não precisa de valor na proposta inicial, precisa de clareza sobre o que é fixo e o que varia.
• Fim do trabalho: o que será entregue, documentado e transferido.

Quais vícios de escopo e de contrato prendem a empresa?

Alguns vícios só aparecem quando o projeto já está andando. Leia o contrato procurando por eles:

• Escopo elástico. Verbos como apoiar, acompanhar e otimizar sem entregável associado permitem cobrar indefinidamente sem que nada seja concluído.
• Piloto que é demonstração. Se o piloto roda em dados de exemplo, sem integração real e sem usuários reais, ele prova pouco. Piloto de verdade tem um fluxo real, limites claros e métrica combinada. O modelo de plano piloto lista os campos mínimos.
• Contas e acessos do fornecedor. Se o agente roda na conta do consultor, com prompts e fluxos que você não consegue exportar, a saída fica cara ou impossível.
• Subcontratação não declarada. Parte do trabalho pode ser feita por terceiros que também terão acesso aos seus dados. A proposta deve dizer quem são.
• Manutenção invisível. Modelos mudam, integrações quebram e regras de negócio mudam. Se a proposta não fala de monitoramento e manutenção, ou trata como favor, o agente degrada em silêncio.
• Sem critério de parada. Contrato que só prevê expansão não oferece o direito de dizer que o piloto não funcionou e encerrar.
• Propriedade confusa. Documentação, prompts, avaliações e código precisam ter dono definido.

Como testar a proposta antes de assinar: passo a passo

Você não precisa ser técnico para fazer esta verificação. Precisa de uma reunião e das perguntas certas.

• Passo um: peça para a consultoria descrever o seu processo atual em uma página, com as exceções que ela já conhece. Se não consegue, o diagnóstico ainda não aconteceu.
• Passo dois: pergunte qual será a métrica de sucesso do piloto e quem mede. Anote a resposta por escrito, com o valor de referência de hoje.
• Passo três: peça a lista de ações que o agente poderá executar e quais exigem aprovação humana. Compare com o que você aceitaria que um estagiário fizesse sozinho.
• Passo quatro: pergunte onde os dados ficam, quem acessa e como são apagados ao fim. Se houver conversas de clientes, inclua o encarregado de dados da sua empresa na conversa. A ANPD é a referência oficial para orientações sobre proteção de dados no Brasil.
• Passo cinco: pergunte como falhas são detectadas. Peça um exemplo de log ou de relatório de avaliação, com dados fictícios.
• Passo seis: pergunte o que acontece se o piloto não atingir a métrica. A resposta deve incluir parar sem multa de saída desproporcional.
• Passo sete: pergunte o que será entregue no fim para a sua equipe operar sozinha. Documentação, acessos, avaliações e treinamento devem aparecer.

Se quiser formalizar isso, o modelo de RFP para agentes de IA traz requisitos que podem ser copiados para a solicitação de proposta.

Cenário ilustrativo: duas propostas para o mesmo problema

Imagine uma empresa de serviços que recebe muitos pedidos de segunda via e agendamento pelo WhatsApp e quer reduzir a carga da equipe. Este é um cenário ilustrativo, sem cliente real.

A primeira proposta promete um agente que atende tudo, com prazo fechado e uma plataforma própria. Não descreve o processo atual, não cita métrica, não fala de transbordo e diz apenas que os dados serão tratados com segurança. O contrato prevê mensalidade contínua e não menciona saída.

A segunda proposta começa com um diagnóstico curto: levantar as conversas mais frequentes, definir qual fluxo será o piloto (por exemplo, apenas agendamento) e registrar quanto tempo a equipe gasta hoje nele. Lista o que o agente pode consultar e o que só pode propor, define quando a conversa vai para uma pessoa, descreve os logs e prevê uma reunião de decisão ao fim do piloto, com três saídas possíveis: expandir, ajustar ou encerrar. Entrega documentação e acessos ao final.

A segunda proposta pode custar mais esforço de leitura e de preparação, mas dá a você algo que a primeira não dá: a possibilidade de dizer não com informação. Para o fluxo de agendamento em si, o texto sobre agendamento automático no WhatsApp com IA ajuda a entender o que deve estar coberto.

Como o método mapear, limitar, pilotar e transferir responde a esses riscos

Cada etapa de um método sério corresponde a um sinal de alerta que você viu acima. Mapear é registrar o processo e a linha de base antes de prometer qualquer coisa. Limitar é definir quais dados o agente lê e quais ações ele pode tomar, com aprovação humana onde houver risco. Pilotar é rodar um fluxo real, com logs e uma métrica combinada, e decidir com base nela. Transferir é entregar documentação, acessos e avaliações para que sua equipe, ou outro fornecedor, consiga operar.

É a mesma lógica de referências públicas de gestão de risco, como o NIST AI Risk Management Framework, que organiza o trabalho em torno de mapear, medir e gerenciar riscos de sistemas de IA. E combina com a recomendação da Anthropic em Building effective agents de começar pelo mais simples e só adicionar complexidade quando ela se justificar. Se a proposta que você recebeu não tem equivalentes dessas etapas, vale perguntar por quê.

Como decidir: seguir, pedir revisão ou recusar

Use esta leitura como guia depois de analisar a proposta:

• Seguir, quando há diagnóstico, métrica combinada, limites de dados e ações, critério de parada e plano de transferência, mesmo que o escopo seja pequeno.
• Pedir revisão, quando a proposta é boa em técnica mas omite um ou dois itens, como transbordo ou propriedade dos artefatos. Devolva com perguntas por escrito e observe a qualidade da resposta.
• Recusar ou pausar, quando há garantia de resultado, ausência de linha de base, dados sem limite declarado ou contrato sem saída.
• Comparar com outra opção, quando você ainda não sabe se precisa de consultoria, de desenvolvimento ou de uma ferramenta pronta. O scorecard para avaliar empresas de agentes de IA ajuda a colocar as propostas lado a lado com os mesmos critérios.

Uma proposta que passa nesses pontos ainda pode dar errado, mas o erro será visível cedo e barato. É isso que se busca.

Perguntas frequentes

Como identificar consultoria de IA ruim sem ser técnico? Leia a proposta procurando três coisas: métrica de sucesso com valor de referência, limites de dados e ações, e critério de parada. Se alguma estiver ausente, peça por escrito. A forma como a consultoria responde mostra mais do que o documento.

Vale a pena exigir um piloto antes de um contrato maior? Sim, desde que o piloto seja de um fluxo real, com logs e uma métrica combinada. Um piloto sem esses elementos serve para vender, não para decidir. O artigo sobre como medir um piloto de automação com IA mostra métricas e pontos de decisão.

Uma consultoria que usa ferramentas de terceiros é um problema? Não necessariamente. O ponto é a transparência: quais ferramentas, quem tem acesso aos dados, e se você consegue levar a configuração para outra conta no futuro. O risco está na dependência escondida, não na ferramenta.

O que fazer se já assinei e percebi sinais de alerta? Volte ao contrato e identifique o que ele prevê sobre entregáveis, acesso a dados e encerramento. Peça uma reunião para definir por escrito a métrica e o próximo ponto de decisão, e solicite cópia de documentação, prompts e acessos. Se a resposta for evasiva, considere encerrar o ciclo atual em vez de expandir.

Fontes

• NIST: AI Risk Management Framework
• Anthropic: Demystifying evals for AI agents
• Anthropic: Building effective agents
• ANPD: Autoridade Nacional de Proteção de Dados