Como limpar a base de clientes com IA sem apagar nada às cegas

Como limpar a base de clientes com IA sem apagar nada às cegas

Para limpar a base de clientes com IA, use regras fixas para o que é verificável (formato de telefone, e-mail, documento) e deixe o modelo apenas sugerir duplicados prováveis e campos suspeitos. Toda sugestão vai para uma fila de revisão, e nada é apagado ou mesclado sem aprovação de uma pessoa. Assim você ganha velocidade na triagem sem perder cadastros de clientes reais.

Principais pontos

• Regras resolvem o que tem formato certo ou errado. A IA entra onde há ambiguidade, como nomes parecidos e endereços escritos de formas diferentes.
• Duplicado nunca deve ser apagado, e sim mesclado com histórico preservado e possibilidade de desfazer.
• Cada sugestão da IA precisa de um motivo legível e de uma pontuação de confiança, para que a revisão seja rápida.
• Faça uma cópia da base antes de começar e registre cada alteração em um log.
• Comece por uma amostra pequena, meça os erros da triagem e só então amplie.

Por que uma base de clientes suja atrapalha a operação?

Uma base desorganizada gera problemas que parecem pequenos e se acumulam. O mesmo cliente recebe duas mensagens da mesma campanha, o vendedor não enxerga o histórico completo, o financeiro cobra um cadastro antigo e o atendimento liga para um número que não existe mais.

Também há efeito sobre qualquer automação futura. Se você pretende colocar um agente de IA para atender ou fazer follow-up, ele vai trabalhar com os dados que encontrar. Cadastro duplicado vira resposta contraditória, e telefone errado vira mensagem enviada para a pessoa errada, o que é um problema de privacidade e de reputação.

Por isso a limpeza vem antes de ampliar a automação, e não depois.

O que a IA faz bem e o que as regras fazem melhor?

A divisão de trabalho é o ponto central do método. Misturar tudo em um único pedido ao modelo costuma dar resultado inconsistente e difícil de auditar.

Regras determinísticas são melhores para:

• Padronizar telefone para um formato único, com DDD e código do país.
• Validar a estrutura de e-mail e identificar domínios com erro comum de digitação.
• Conferir os dígitos verificadores de CPF e CNPJ, que seguem um cálculo conhecido.
• Remover espaços extras, padronizar maiúsculas e minúsculas e normalizar abreviações de endereço.
• Marcar campos vazios ou com valores impossíveis, como data de nascimento no futuro.

A IA é mais útil para:

• Comparar nomes escritos de formas diferentes, com apelido, abreviação ou erro de grafia.
• Interpretar endereços em texto livre e sugerir a separação em rua, número, bairro e cidade.
• Classificar campos de observação, que muitas vezes guardam informação que deveria estar em outro campo.
• Explicar em linguagem simples por que dois cadastros parecem ser a mesma pessoa.

A regra decide o que é certo ou errado. A IA sugere o que é provável. Quem aprova é uma pessoa.

Como detectar duplicados sem juntar pessoas diferentes?

O risco maior não é deixar um duplicado passar, e sim juntar dois clientes diferentes. Uma mesclagem errada mistura históricos de compra, contratos e conversas, e é difícil de corrigir depois.

Uma abordagem em camadas ajuda:

• Primeiro, correspondência exata por identificador forte, como CPF ou CNPJ já validado, ou e-mail idêntico.
• Depois, correspondência por combinação de sinais fracos, como nome parecido, mesmo telefone e mesma cidade.
• Por fim, a IA avalia apenas os pares que restaram em dúvida e devolve uma classificação: provável duplicado, possível duplicado ou pessoas diferentes, com a justificativa.

Para reduzir comparações, agrupe antes por algum critério simples, como os primeiros caracteres do sobrenome ou a mesma cidade. Assim o modelo analisa pares plausíveis, e não a base inteira contra ela mesma.

Cuidado com casos que parecem duplicados e não são: pais e filhos que compartilham telefone e endereço, empresas com várias filiais, sócios que usam o mesmo e-mail financeiro, pessoas com nomes comuns. Nesses casos, a regra deve ser conservadora: na dúvida, vai para revisão e não para mesclagem.

Quando a mesclagem for aprovada, defina qual cadastro é o principal, preserve o histórico dos dois e guarde o identificador do registro absorvido. É isso que permite desfazer.

Como tratar telefones inválidos e campos inconsistentes?

Telefone é o campo em que a regra faz quase todo o trabalho. No Brasil, os erros comuns são DDD ausente, número sem o dígito adicional dos celulares, caracteres soltos, vários números no mesmo campo e telefone fixo cadastrado como se fosse WhatsApp.

Uma sequência segura:

• Remova símbolos e converta para um formato internacional padronizado.
• Classifique como celular, fixo ou inválido pela estrutura do número.
• Separe campos com mais de um número em registros distintos, sem descartar nenhum.
• Marque como suspeito o que não passa na estrutura, em vez de corrigir por palpite.

Um ponto importante: um número bem formatado não prova que existe, que está ativo ou que pertence àquela pessoa. A validade de verdade só aparece quando há contato. Por isso, não trate formato correto como consentimento ou como confirmação de WhatsApp. Se a base for usada para mensagens ativas, vale ler antes o que exige o opt-in e os templates no WhatsApp.

Para campos inconsistentes, como cidade escrita de dez formas ou estado com sigla e nome por extenso, use uma tabela de correspondência. A IA pode propor o agrupamento das variações, e uma pessoa confirma a tabela uma única vez. Depois disso, a regra aplica a tabela em toda a base de forma repetível.

Nunca deixe o modelo inventar um valor para preencher um campo vazio. Campo vazio é uma informação honesta, e um dado inventado vira erro difícil de rastrear.

Qual o passo a passo para limpar sem apagar nada às cegas?

Este é um plano que cabe em uma operação pequena ou média:

• Etapa de cópia: exporte a base completa e guarde uma versão intocada, com data e responsável.
• Etapa de mapa: liste os campos, de onde vêm (site, WhatsApp, planilhas, ERP, CRM) e quais são usados em decisões como cobrança e contato.
• Etapa de regras: implemente validações e padronizações determinísticas e rode primeiro apenas em modo de relatório, sem alterar nada.
• Etapa de amostra: escolha um recorte pequeno e representativo e rode a detecção de duplicados e inconsistências com a IA.
• Etapa de revisão: uma pessoa avalia cada sugestão, aprova, rejeita ou pede mais contexto, e esses resultados formam o gabarito do teste.
• Etapa de medição: compare as sugestões da IA com as decisões humanas. Anote quantos falsos duplicados e quantos erros omitidos apareceram, sem inventar uma meta antes de ver os dados.
• Etapa de aplicação: aplique somente o que foi aprovado, com log de antes e depois por registro.
• Etapa de rotina: defina quem revisa novos cadastros, com que frequência e o que fazer quando a fila crescer.

O ciclo de avaliação com exemplos conferidos por pessoas segue a mesma lógica descrita em guias de avaliação, como o guia de evals da OpenAI. O objetivo é saber se a triagem funciona antes de confiar nela.

O método que aplicamos em projetos de IA vale aqui. Mapear é entender o processo atual e a situação inicial da base. Limitar é definir quais dados o modelo pode ver e quais ações pode sugerir (nenhuma delas é apagar). Pilotar é rodar um recorte real, com log e um critério de sucesso combinado antes. Transferir é entregar a rotina para a equipe e decidir se amplia, ajusta ou para.

Cenário ilustrativo: uma empresa de serviços com três origens de cadastro

Imagine uma empresa de serviços que recebe contatos por formulário no site, por WhatsApp e por planilhas de eventos. Depois de alguns anos, a mesma cliente aparece como Maria Souza, Maria S. Oliveira e M. Souza, com dois telefones e um e-mail digitado errado em um dos registros.

As regras padronizam os telefones e apontam o e-mail com erro de domínio. A correspondência por telefone agrupa os três cadastros. A IA lê os três e sugere: provável duplicado, porque o telefone, a cidade e o histórico de atendimento batem, apesar da diferença no sobrenome. A justificativa aparece ao lado.

Na fila de revisão, a responsável confirma, escolhe o cadastro principal e a mesclagem preserva as conversas dos três. Em outro caso, dois cadastros com o mesmo sobrenome e mesmo endereço são marcados como possíveis duplicados, mas a revisão identifica mãe e filha, e eles continuam separados. Este é um cenário ilustrativo, sem relação com nenhum cliente real.

O que a LGPD pede quando a base vai para uma ferramenta de IA?

Uma base de clientes tem dados pessoais, e mandá-la a um serviço externo de IA é um tratamento que precisa de finalidade, base legal e cuidado com o que é enviado. Algumas práticas reduzem o risco:

• Envie ao modelo apenas os campos necessários para comparar registros. Muitas vezes nome, telefone parcial e cidade bastam.
• Mascare ou substitua identificadores sensíveis por códigos internos antes da análise.
• Verifique onde o provedor processa e guarda os dados. Se houver envio para fora do país, leia o que a LGPD exige sobre transferência internacional de dados com IA.
• Considere rodar o modelo no seu ambiente quando os dados forem muito sensíveis, como descrito em Ollama na empresa.
• Defina por quanto tempo guardar o log de alterações e quem pode acessá-lo.

A limpeza também ajuda na conformidade, pois reduz dados incorretos e facilita atender pedidos de titulares. A orientação oficial e os materiais da ANPD são o ponto de partida; para casos específicos, vale conversar com o jurídico ou com o encarregado de dados da empresa. Para estruturar o risco do uso de IA como um todo, o NIST AI Risk Management Framework oferece um vocabulário útil.

Se a base alimenta um CRM que vendedores atualizam depois de reuniões, combine a limpeza com uma rotina de entrada de dados mais cuidadosa, como em atualizar o CRM com IA depois da reunião de vendas. Sem isso, a base volta a ficar suja em poucos meses.

Perguntas frequentes

A IA pode apagar duplicados sozinha? Não é recomendável. Ela deve sugerir, e uma pessoa aprova a mesclagem, com histórico preservado e possibilidade de desfazer. Apagar automaticamente transforma um erro de classificação em perda permanente de dados.

Preciso de uma ferramenta específica para isso? Não necessariamente. Muitas rotinas começam com planilha, scripts de validação e um modelo de linguagem para os casos ambíguos. O mais importante é ter o log, a revisão e a cópia da base, e só depois pensar em ferramenta dedicada ou integração com o CRM.

Como saber se o telefone cadastrado é WhatsApp de verdade? A estrutura do número só diz se ele parece válido, não se está ativo nem se tem WhatsApp. A confirmação vem do contato real, por exemplo quando o cliente responde ou confirma o número em um canal que ele mesmo iniciou. Evite disparos em massa para testar números, pois isso pode causar bloqueios e problemas de consentimento.

Quanto da base devo revisar manualmente? Depende do resultado da amostra. Revise tudo que a IA classificar como dúvida e uma parte do que ela classificar como seguro, para checar se a confiança está calibrada. Se os erros forem frequentes, ajuste as regras e o pedido ao modelo antes de ampliar a limpeza para o resto da base.

Fontes

• ANPD: Autoridade Nacional de Proteção de Dados
• NIST AI Risk Management Framework
• OpenAI: guia de evals
• Anthropic: Building effective agents