Alucinação e superinteligência: por que mais capacidade não basta

Alucinação e superinteligência: por que mais capacidade não basta

Modelos mais capazes ainda alucinam. Entenda por que a verificação das respostas segue com a empresa e como organizar a revisão antes do piloto.

•

Quer aplicar isso na sua empresa?

Agendar conversa com o Juan →

Alucinação é o nome dado quando um modelo de IA produz uma afirmação falsa com aparência de certeza, como um preço que não existe, uma regra de garantia inventada ou um prazo que ninguém confirmou. Modelos mais capazes tendem a errar com menos frequência em muitas tarefas, mas não deixam de errar, e os erros que sobram costumam ser mais plausíveis e mais difíceis de notar. Por isso, a verificação do que chega ao cliente, ao contrato ou a uma decisão continua sendo responsabilidade da empresa que usa a ferramenta, e não algo que a próxima versão do modelo resolve sozinha.

Principais pontos

  • Alucinação é uma falha de geração de texto, não uma intenção de enganar, e aparece em modelos de todos os tamanhos.
  • Mais capacidade reduz alguns erros, mas torna os erros restantes mais convincentes.
  • Por padrão, o modelo não conhece a sua tabela de preços, a sua política de garantia nem o estado atual do pedido do cliente.
  • A resposta enviada em nome da empresa é responsabilidade da empresa, com ou sem IA no processo.
  • A verificação precisa ser desenhada antes do piloto, com fontes, limites, revisão humana e registro.

O que é alucinação e por que ela não desaparece com capacidade

Um modelo de linguagem gera texto a partir de padrões aprendidos e do que está na conversa. Quando a informação não está disponível ou está ambígua, ele pode completar a lacuna com algo verossímil, e para quem lê a frase pode soar exatamente como uma resposta correta. Não se trata de um bug raro que uma atualização elimina: é uma característica do modo como o sistema produz respostas. Ferramentas que consultam documentos ou sistemas externos reduzem muitos desses erros, porque dão ao modelo algo concreto para se apoiar, mas reduzir não é o mesmo que eliminar. O NIST, em seu framework de gestão de risco de IA, trata a confiabilidade como algo a ser medido e gerenciado ao longo de todo o uso, e não como uma propriedade comprada de uma vez. A lista de riscos da OWASP para aplicações com modelos de linguagem também trata a desinformação gerada pelo modelo como risco próprio.

No debate público, superinteligência costuma designar sistemas que superariam pessoas em praticamente todas as tarefas intelectuais. Esse cenário é uma hipótese de longo prazo, e não um produto que sua empresa contrata hoje. O que chega ao seu time são modelos úteis, rápidos e imperfeitos, e é com eles que a decisão de hoje precisa ser tomada. Se quiser separar os conceitos antes de levar o tema à diretoria, o texto ChatGPT é superinteligência? O que ele é e o que não é ajuda a fazer essa distinção.

Por que mais capacidade não transfere a responsabilidade

Existe uma intuição comum de que, com um modelo melhor, a revisão pode diminuir até desaparecer. Na prática, três fatores não mudam com a capacidade. O primeiro é o acesso à realidade: estoque, agenda, condições comerciais e exceções vivem nos seus sistemas e na cabeça da sua equipe, e o modelo só conhece o que você entrega a ele, no momento em que entrega. O segundo é a psicologia da leitura: um erro bem escrito passa com mais facilidade pela revisão de quem está com pressa, justamente porque parece profissional. O terceiro é a relação com o cliente e com a lei. Quem responde pela mensagem é a empresa, perante o cliente, o contrato e as regras aplicáveis, e não o fornecedor do modelo.

Quando a conversa envolve dados pessoais, entra também a LGPD. Decisões tomadas unicamente com base em tratamento automatizado, que afetam interesses da pessoa, trazem o direito de revisão previsto no artigo 20 da lei, e o desenho do fluxo precisa considerar esse ponto. Para o enquadramento do seu caso, converse com um advogado. Veja também Decisões automatizadas na LGPD: art. 20 e o direito de revisão.

Onde o erro custa caro na operação

Nem todo erro tem o mesmo peso. Vale separar os que incomodam dos que geram prejuízo, reclamação ou exposição. Os mais sensíveis costumam ser:

  • Preço, prazo, parcela ou condição de pagamento informados sem consultar a tabela vigente.
  • Garantia, cancelamento ou reembolso descritos de forma diferente da política real.
  • Dados de uma pessoa aparecendo em mensagem, proposta ou documento de outra.
  • Disponibilidade de agenda, equipe ou material prometida sem confirmação no sistema.
  • Resumo de conversa ou reunião que registra um compromisso que o cliente nunca assumiu.

Como montar a verificação antes de colocar IA diante do cliente

Antes de qualquer piloto, o trabalho é descrever o que a verificação vai checar e quem responde por cada parte. Um roteiro simples costuma bastar:

  • Passo 1: liste os tipos de pergunta que o agente vai responder e marque, para cada um, se a resposta pode sair sem consulta ou se exige fonte.
  • Passo 2: indique a fonte oficial de cada fato, como a tabela de preços, a política escrita ou o sistema de agenda, com um dono responsável por mantê-la atualizada.
  • Passo 3: defina o que pode ser checado automaticamente, como campos obrigatórios, valores dentro de uma faixa e presença de dados que não deveriam aparecer, e o que exige revisão humana antes do envio.
  • Passo 4: monte um conjunto de perguntas de teste com as respostas esperadas e rode esse conjunto sempre que trocar o modelo, o prompt ou a fonte de dados. Guias de avaliação, como o da OpenAI, descrevem essa prática de repetir medições em vez de confiar em uma demonstração.
  • Passo 5: registre a pergunta, a fonte consultada, a resposta enviada e a eventual correção, para conseguir reconstruir o que aconteceu.
  • Passo 6: defina quem corrige um erro, em que prazo, e como a correção volta para as instruções e para o conjunto de teste.

Cenário ilustrativo: prazo de entrega com exceção

Cenário ilustrativo: uma loja fictícia de materiais de construção usa um agente no WhatsApp para responder sobre prazos de entrega. A regra padrão está na tabela de frete, mas regiões afastadas têm uma exceção que só aparece no sistema logístico. Sem verificação, o agente poderia repetir o prazo padrão para todos, e o cliente planejaria a obra com uma data errada. Com o desenho descrito acima, o agente consulta o sistema logístico como fonte, informa o prazo quando a regra existe e encaminha para a equipe quando não encontra a regra, sem inventar uma data. Cada resposta fica registrada, e a exceção entra no conjunto de testes para não voltar a falhar sem aviso.

O que a diretoria precisa decidir antes do piloto

Estas definições não dependem do modelo escolhido e costumam ser mais úteis do que comparar resultados de testes genéricos:

  • Se a resposta afeta preço, prazo, garantia ou dado pessoal, o agente consulta fonte oficial e registra; sem fonte, encaminha para uma pessoa.
  • Se a resposta é informativa e de baixo impacto, como horário, endereço ou documentos necessários, o agente responde com conteúdo cadastrado e revisado periodicamente.
  • Se o caso envolve reclamação, insatisfação ou pedido fora da política, o agente não decide: passa para atendimento humano com um resumo completo.
  • Se a informação não tem dono definido dentro da empresa, o agente não deve falar sobre ela até que tenha.

Como o método de Juan Carlo se aplica

Na nossa forma de trabalhar, a verificação entra em quatro etapas do método: mapear, limitar, pilotar e transferir. No mapeamento, descobrimos de onde vem cada fato que o agente precisaria usar. Na etapa de limites, decidimos quais dados e ações ficam disponíveis e quais exigem aprovação. No piloto, com um fluxo real, registros e uma métrica de sucesso combinada com a empresa, medimos quantas respostas precisaram de correção e por quê. Só então transferimos a operação e decidimos se expandir, ajustar ou parar. Não prometemos que o erro desapareça; prometemos que ele fique visível e tenha dono. Para o desenho de longo prazo, vale ler Preparar a empresa para modelos mais capazes: princípios de desenho.

Perguntas frequentes

Se o modelo for mais capaz, ainda preciso revisar as respostas? Depende do risco do que a resposta afeta. Para informações de baixo impacto, uma fonte confiável e uma revisão periódica costumam bastar. Para preço, garantia, dado pessoal ou compromisso com cliente, a verificação deve acontecer no fluxo, antes do envio, e não apenas na expectativa de que o modelo acerte.

Alucinação é o mesmo que mentira? Não exatamente. Mentira pressupõe intenção, e o modelo não tem intenção de enganar: ele gera texto plausível a partir de padrões e do contexto disponível. Para quem recebe a resposta, porém, o efeito pode ser o mesmo, então a distinção ajuda a entender a causa, mas não reduz o prejuízo.

Como saber se um erro veio do modelo ou do meu sistema? Os registros resolvem boa parte dessa dúvida. Se a resposta partiu de um dado errado já na fonte consultada, o problema está no cadastro ou na integração. Se a fonte estava correta e o modelo ainda assim produziu algo diferente, o problema está na geração, e o caso deve entrar no conjunto de testes.

Quem responde juridicamente por uma resposta errada enviada pelo agente? Na prática, quem envia a mensagem em nome da empresa é quem responde perante o cliente. O enquadramento jurídico depende do contrato, do tipo de relação e da situação concreta, por isso vale consultar um advogado antes de definir as regras do fluxo.

Fontes

alucinaçãosuperinteligênciaIA para empresasverificação de respostasgovernança de IA