Ética da superinteligência: perguntas que a diretoria deve fazer

A ética da superinteligência, para uma diretoria, vira um conjunto de perguntas de governança: quem responde pelo que o sistema faz, o que a empresa consegue explicar e auditar, e quais limites existem antes de dar mais autonomia. Superinteligência no sentido estrito ainda é hipótese, mas decisões sobre IA cada vez mais capaz já estão na mesa, e as mesmas perguntas servem para os dois casos.

Principais pontos

• Superinteligência é uma hipótese; o que a empresa opera hoje são modelos, agentes e automações, e a ética começa por eles.
• Responsabilidade precisa ter nome e cargo: cada sistema em produção tem um dono executivo, e o fornecedor do modelo não assume esse papel.
• Transparência é a capacidade de reconstruir o que o sistema fez, com quais dados e quem aprovou, e não um documento bonito.
• Limites devem ser definidos antes da autonomia: permissões mínimas, ações irreversíveis com aprovação humana e critérios claros para parar.
• Quanto mais capaz o sistema, mais curto deve ser o ciclo de revisão da diretoria, com piloto, evidência e decisão explícita de expandir, ajustar ou encerrar.

Superinteligência é assunto de hoje ou de um futuro distante?

Na literatura, superinteligência é um sistema que supera o desempenho humano na maioria das tarefas cognitivas relevantes. Nenhuma empresa opera isso hoje, e quem vende como se fosse o caso está fazendo marketing. O que existe nas operações são modelos de linguagem, agentes que chamam ferramentas e automações com graus variados de autonomia. A diferença entre esses conceitos está em diferença entre AGI e superinteligência, e vale passar por mitos sobre superinteligência antes de levar o tema ao conselho.

Por que então tratar de ética agora? Porque o custo de não ter limites cresce com a capacidade do sistema. Uma diretoria que já sabe responder quem aprova, quem audita e quem pode desligar um agente simples está mais preparada para sistemas mais capazes. Quem não sabe responder isso para um agente de atendimento não vai saber para algo maior.

Um cuidado de leitura: ao consumir material sobre o tema, separe três camadas. A primeira é documentação oficial de fornecedores e de órgãos de referência. A segunda é experiência de implementação, que descreve o que funciona na prática e depende do contexto. A terceira é hipótese, incluindo cenários de longo prazo. Misturar as três é o caminho mais curto para uma decisão baseada em medo ou em entusiasmo.

Quem responde quando a IA erra?

Responsabilidade não se delega ao algoritmo nem ao fornecedor do modelo. A LGPD distingue controlador e operador e atribui deveres a cada um, e o contrato com o fornecedor não elimina a obrigação da empresa perante o titular. Confirme com o jurídico como esses papéis se aplicam a cada ferramenta. Perguntas que a diretoria pode fazer:

• Quem é o dono executivo de cada sistema de IA em produção, com nome e cargo?
• Quem aprova mudanças de modelo, de instruções e de permissões?
• O contrato com o fornecedor diz o que acontece com os dados, com falhas e com incidentes?
• Existe um canal para o cliente ou o colaborador contestar uma resposta ou uma decisão?
• Quem comunica um incidente, para quem e em que prazo interno?

Se alguma resposta for "depende" ou "a área de tecnologia", ainda não há responsabilidade definida. Tecnologia opera o sistema, mas a decisão de colocá-lo em contato com clientes, dinheiro ou dados pessoais é do negócio.

O que a empresa precisa conseguir explicar?

Transparência, na prática, é poder reconstruir um episódio: qual entrada o sistema recebeu, quais dados consultou, que ação tomou, qual versão de instruções e de modelo estava ativa e quem aprovou, quando houve aprovação. Isso depende de registros de decisão e de observabilidade desde o início. Os conceitos de observabilidade do OpenTelemetry ajudam a equipe técnica a estruturar esses registros.

Há também a dimensão do titular de dados. Quando uma decisão automatizada afeta interesses de uma pessoa, a LGPD prevê o direito de solicitar revisão. O texto Decisões automatizadas na LGPD: art. 20 e o direito de revisão detalha o que isso significa para fluxos de crédito, cobrança e atendimento. Perguntas úteis para a diretoria:

• Conseguimos explicar a um cliente, em linguagem simples, como a resposta dele foi gerada?
• Os registros mostram a decisão e também o contexto que levou a ela?
• O cliente sabe que está falando com uma IA quando isso for relevante?
• Quanto tempo guardamos os registros, e quem pode consultá-los?
• Os dados saem do país em algum ponto do fluxo, e o fornecedor informa onde são processados?

A última pergunta tem desdobramento próprio na LGPD, tratado em Transferência internacional de dados com IA.

Que limites o sistema deve ter, e quem pode alterá-los?

Limite é uma decisão de projeto, não uma promessa do modelo. Instruções escritas em linguagem natural orientam o comportamento, mas não substituem permissões técnicas. Um agente que não tem acesso ao módulo de reembolso não pode reembolsar, por mais que alguém o convença. Esse é o princípio do menor privilégio, descrito em guias como o OWASP Authorization Cheat Sheet, e vale para pessoas e para agentes. A lista do OWASP Top 10 para aplicações com LLM inclui o risco de agência excessiva, que é exatamente o excesso de poder dado ao sistema.

Um guia de decisão para os limites:

• Ações reversíveis e de baixo impacto, como responder uma dúvida de horário, podem ser autônomas, com registro.
• Ações com efeito financeiro, contratual ou jurídico exigem aprovação humana antes da execução.
• Ações irreversíveis, como apagar dados ou enviar comunicação em massa, exigem aprovação e um segundo ponto de controle.
• Categorias de dado sensível ficam fora do alcance do agente, salvo decisão formal da diretoria com base legal definida.
• Qualquer pessoa autorizada deve conseguir pausar o sistema sem depender do fornecedor.

E quem pode mudar esses limites? Se a resposta for "quem tem acesso à ferramenta", falta um processo de mudança. Alterar instruções, ferramentas ou modelo deve gerar um registro e passar por teste antes de ir para produção.

Cenário ilustrativo: o agente que começa a negociar

Cenário ilustrativo, sem relação com nenhuma empresa real. Uma empresa de serviços usa um agente no WhatsApp para dúvidas e agendamentos. Dado o bom funcionamento, alguém propõe que ele passe a oferecer descontos e aprovar reembolsos para reduzir a fila da equipe.

A diretoria, em vez de aprovar ou vetar de imediato, faz as perguntas deste texto. Quem responde pelas concessões feitas pelo agente? O dono do atendimento, com nome registrado. O que precisa ficar registrado? Pedido do cliente, regra aplicada, valor concedido e versão das instruções. Qual o limite? O agente pode propor, mas a concessão acima de um teto definido pela diretoria passa por uma pessoa. Como o cliente contesta? Por um caminho claro para falar com um humano. E como saber se deu certo? Com um critério combinado antes: por exemplo, comparar contestações e retrabalho antes e depois, sobre um fluxo restrito.

O resultado dessa conversa não é uma recusa nem um sim aberto. É um piloto com escopo pequeno, limites técnicos e uma data para decidir o próximo passo. Para o canal em si, vale conhecer as regras da plataforma, como as de mensagens ativas com templates e opt-in.

Como transformar isso em rotina: mapear, limitar, pilotar, transferir

Perguntas só ajudam se viram processo. O método que aplicamos em projetos de IA segue quatro movimentos: mapear o processo atual e o ponto de partida, limitar dados e ações, pilotar um fluxo real com registros e uma métrica de sucesso acordada, e transferir a operação, decidindo então se expande, ajusta ou encerra. Nada disso exige filosofia, apenas disciplina de gestão.

• Mapear: descreva o processo como ele é hoje, quem decide o quê e onde estão os dados. Sem esse retrato, não há como medir melhora nem risco.
• Limitar: defina quais dados o sistema vê, quais ações executa e quais exigem aprovação humana. Escreva o plano de desligamento.
• Pilotar: escolha um fluxo, rode com registros completos e avalie com casos de teste e revisão humana. Guias de avaliação como o OpenAI Evals mostram como estruturar isso.
• Transferir: entregue a operação com responsáveis, rotina de revisão e critérios de parada. Só então discuta ampliar o escopo.

Para estruturar o apoio externo ou interno nesse processo, o texto sobre como Juan Carlo trabalha com empresas descreve o formato de diagnóstico, piloto e entrega.

Quando a diretoria deve expandir, ajustar ou parar?

A pior decisão é a que nunca é tomada: o piloto continua rodando sem dono e sem data. Defina de antemão o que significa cada resultado.

• Expandir: o critério combinado foi atingido, os registros são completos, não houve incidente sem resposta e o dono do processo quer ampliar.
• Ajustar: o resultado é promissor, mas há falhas recorrentes em casos específicos. Corrija instruções, ferramentas ou escopo e repita o teste.
• Parar: o sistema age fora dos limites, os registros não permitem reconstruir episódios, o fornecedor não explica o tratamento de dados ou ninguém assume a responsabilidade.

Como referência externa, o NIST AI Risk Management Framework organiza a gestão de risco de IA em funções de governança, mapeamento, medição e gestão, e os Princípios de IA da OCDE tratam de transparência, robustez e responsabilização. Vale cruzá-los com as orientações da ANPD sobre proteção de dados e acompanhar o que for definido no marco legal da IA no Brasil. Esses documentos não substituem o parecer jurídico da empresa, mas dão vocabulário comum para a diretoria e para a equipe técnica.

Perguntas frequentes

A diretoria precisa de um comitê de ética em IA? Nem sempre. Em empresas menores, basta um responsável executivo, uma rotina de revisão periódica e um registro das decisões. Um comitê passa a fazer sentido quando há vários sistemas, dados sensíveis ou decisões que afetam pessoas de forma relevante.

Precisamos nos preocupar com superinteligência se só usamos ChatGPT e WhatsApp com IA? A preocupação prática é com autonomia, dados e responsabilidade, que já existem nesses usos. A discussão sobre superinteligência ajuda a treinar o raciocínio, mas o trabalho imediato é política de uso, limites e registros. O texto sobre ChatGPT e superinteligência ajuda a calibrar a expectativa.

Como agir quando o fornecedor não explica como o modelo funciona? Peça o que é verificável: onde os dados são processados, se são usados para treinamento, quais registros ficam disponíveis e como incidentes são comunicados. Você não precisa entender cada detalhe interno do modelo, mas precisa de evidência sobre o que entra, o que sai e o que fica guardado. Se nem isso for oferecido, trate como um sinal para limitar o uso ou trocar de fornecedor.

Qual é a primeira pergunta que a diretoria deve fazer? Quem responde por este sistema e como ele pode ser pausado? Se a resposta é clara, as demais perguntas sobre dados, transparência e limites têm onde se apoiar. Se não é, o primeiro passo é definir esse responsável antes de qualquer expansão.

Fontes

• NIST: AI Risk Management Framework
• OECD: AI Principles
• OWASP: Top 10 for LLM Applications
• ANPD: Autoridade Nacional de Proteção de Dados