Como Avaliar uma Empresa de Desenvolvimento de Agentes de IA: Scorecard de Compra

Como Avaliar uma Empresa de Desenvolvimento de Agentes de IA: Scorecard de Compra

Avalie uma empresa de desenvolvimento de agentes de IA pela evidência que ela consegue produzir para o trabalho do seu negócio, não pela fluidez da demonstração. Um parceiro preparado deve definir o resultado, testar casos representativos, restringir autoridade, expor falhas, documentar o tratamento de dados e deixar seu time capaz de operar ou substituir o sistema.

O scorecard abaixo transforma esses requisitos em uma revisão de 100 pontos. Ele é uma ferramenta de compra, não uma certificação. Adapte os pesos ao risco, setor e processo de contratação. Um bloqueio crítico deve parar ou reduzir o escopo mesmo quando a pontuação total parece alta.

Scorecard de compra com 100 pontos

Pontue cada dimensão entre zero e o peso máximo:

Use a mesma janela de evidência para todos os candidatos. Não compare um piloto real de um fornecedor com os slides de outro como se as entradas fossem equivalentes.

Bloqueios críticos que superam a pontuação

Pare, rejeite ou reduza o escopo quando alguma condição abaixo continuar aberta:

1. Não existe responsável, fluxo ou resultado mensurável.
2. A empresa recusa avaliação com casos representativos do seu trabalho.
3. O agente proposto usa credenciais amplas sem privilégio mínimo.
4. O time não conecta entrada, decisão, ferramenta, aprovação e resultado nos registros.
5. Não existe resposta definida para execução parcial, ação duplicada ou falha de integração.
6. Uso, retenção, provedores ou subprocessadores dos dados continuam incertos.
7. Propriedade, exportação e saída não aparecem no escopo comercial.
8. Uma demonstração preparada é apresentada como evidência suficiente para autoridade real.

Um bloqueio nem sempre significa que o fornecedor é inadequado. Ele significa que a proposta atual não está pronta para a autoridade ou o compromisso pedido.

1. Comece pelo trabalho do negócio, não pelo agente

Peça para a empresa descrever o trabalho antes de propor modelo, framework ou arquitetura multiagente.

Evidências necessárias:

• um fluxo nomeado e um responsável do negócio;
• volume, tempo, qualidade, custo ou taxa de exceção atuais;
• gatilho, entradas, saída esperada e estado final;
• exceções e ações que permanecem com pessoas;
• motivo pelo qual a próxima etapa exige julgamento contextual;
• menor piloto capaz de mudar uma decisão real;
• condições para ampliar, ajustar ou parar.

As diretrizes de compra de IA do governo do Reino Unido recomendam foco no desafio em vez de prescrever uma solução. O guia Buy AI da GSA traz o mesmo princípio: começar pela necessidade e pelo problema.

Um parceiro forte pode recomendar workflow fixo, motor de regras ou software existente quando um agente não é necessário. Isso é evidência de aderência. Uma empresa que força todo processo para a própria stack cria complexidade antes de provar valor.

2. Exija avaliação com casos representativos

Não aceite “acurácia” como avaliação completa. O comportamento de um agente inclui escolher caminho, recuperar evidência, usar ferramentas, tratar exceções e parar com segurança.

Peça:

O guia de avaliações da OpenAI recomenda testes específicos da tarefa, distribuição representativa de entradas, registros e avaliação contínua. O AI RMF do NIST também trata medição e monitoramento como trabalho de todo o ciclo.

Peça para inspecionar falhas, não apenas a média. Uma avaliação útil mostra quando o sistema deve se abster, escalar ou permanecer fora da produção.

3. Inspecione os limites da arquitetura e das integrações

A arquitetura deve explicar como o agente alcança dados e sistemas sem transformar cada integração em autoridade irrestrita.

Solicite diagrama ou descrição com:

• usuário, agente, modelo, recuperação de conhecimento, ferramentas e sistemas externos;
• identidade usada em cada etapa;
• separação de desenvolvimento, teste e produção;
• contratos de API e validação de leitura e escrita;
• origem do conhecimento da empresa e regra de atualização;
• armazenamento de prompts, rastros, arquivos e estado intermediário;
• comportamento diante de timeout, limite de taxa e dependência;
• fallback de modelo ou provedor;
• processo de versionamento e deploy.

O desenho deve servir ao trabalho. Vários agentes não são automaticamente mais capazes. Cada papel, chamada de modelo e coordenação adiciona outro ponto onde estado, permissões e erros podem divergir.

4. Verifique tratamento de dados e segurança

Peça ao fornecedor para mapear os dados antes de solicitar aprovação jurídica ou de segurança para uma “solução de IA” genérica.

A revisão deve identificar:

• classes de dados que entram no sistema;
• finalidade e uso permitido;
• modelo, hospedagem e subprocessadores relevantes;
• locais de armazenamento e prazos de retenção;
• uso ou não dos dados do cliente para treinamento;
• criptografia, segredos e revisão de acessos;
• separação entre clientes e tenants;
• exclusão, exportação e processo de incidente;
• tratamento de dados pessoais, confidenciais e regulados;
• divisão de responsabilidades entre comprador e fornecedor.

O Software Acquisition Guide da CISA destaca transparência do fornecedor como parte de uma aquisição orientada a risco. O guia do Reino Unido também pede avaliação de dados, governança e garantia da informação antes e durante o ciclo.

Essas perguntas apoiam a revisão técnica e de compras. Elas não substituem orientação jurídica, de privacidade ou específica do setor.

5. Exija controles explícitos de autoridade e aprovação

“Humano no loop” é incompleto quando a proposta não define quem revisa qual ação exata e o que acontece diante de uma rejeição.

Peça:

• inventário de ferramentas e ações;
• credencial e permissão usadas em cada ação;
• níveis para negar, ler, criar rascunho, escrever com limites e exigir aprovação;
• limites de valor, volume, destinatário e recurso;
• payload exato apresentado ao aprovador;
• papel do aprovador, backup, expiração e comportamento na rejeição;
• prova de que payload alterado invalida a aprovação;
• registro que conecta aprovação e execução.

A OWASP recomenda privilégio mínimo, validação de ferramentas e confirmação humana em ações sensíveis ou irreversíveis. O Agentic AI Lens da AWS descreve autonomia delimitada, supervisão proporcional e execução observável como princípios centrais.

Use o template de política de aprovação para agentes de IA para verificar se o controle proposto pode ser aplicado ou se é apenas uma frase no slide.

6. Teste confiabilidade e recuperação

Um agente que conclui o caminho feliz ainda pode gerar resultado duplicado, parcial ou enganoso quando uma dependência falha.

Exija demonstração ou evidência de teste para:

1. timeout do provedor antes de qualquer ação;
2. timeout depois que o sistema externo aceitou a ação;
3. o mesmo pedido entregue duas vezes;
4. dado inválido ou desatualizado;
5. ferramenta retornando resultado parcial;
6. aprovação ausente ou revisor indisponível;
7. transbordo para pessoa com contexto completo;
8. rollback ou compensação após execução parcial;
9. mudança de modelo, instrução ou versão da ferramenta;
10. detecção de incidente e aviso ao responsável.

Pergunte o que o usuário vê durante uma operação degradada. Silêncio, resultado inventado com confiança ou efeitos repetidos não são fallbacks aceitáveis.

7. Revise observabilidade e o custo completo

O parceiro deve conectar atividade técnica a uma unidade concluída do negócio.

Solicite:

• rastro da entrada ao resultado verificado;
• versões de modelo e ferramenta;
• latência e falha por etapa;
• tempo de revisão, correção e exceção humana;
• custo de modelo, busca, armazenamento, integração e monitoramento;
• custo por unidade concluída ou aceita;
• alertas e limites de incidente;
• rotina e responsável pela revisão;
• premissas da projeção e sensibilidade ao volume.

Não compare apenas o preço de construção. Inclua diagnóstico, preparação de dados, integrações, avaliação, revisão de segurança, hospedagem, uso de modelos, monitoramento, suporte e mudanças. Trate economia projetada como hipótese até um piloto comparar a mesma unidade com o baseline.

8. Proteja propriedade, portabilidade e continuidade

A proposta comercial e técnica deve responder:

• quem possui código, configuração, prompts, casos de avaliação e dados gerados;
• quais componentes são licenciados em vez de transferidos;
• se o comprador controla nuvem, domínios e credenciais de produção;
• como exportar registros, dados e artefatos de avaliação;
• o que acontece quando modelo, framework ou fornecedor muda;
• quais documentos e runbooks são entregues;
• qual apoio de transição está incluído;
• como dependências e cobranças recorrentes são apresentadas.

As diretrizes de compra do Reino Unido alertam para lock-in e recomendam planejar ciclo de vida e transferência de conhecimento.

Peça para compras e assessoria jurídica traduzirem essas necessidades operacionais para a linguagem contratual adequada.

Perguntas copiáveis para a RFP

Se o time ainda não enviou o pedido, comece pelo modelo completo de RFP para agentes de IA. Ele define fluxo, matriz de resposta, evidência, piloto, propriedade e composição comercial antes das propostas chegarem.

Envie as mesmas perguntas para todos os candidatos:

1. Defina trabalho, responsável, baseline e decisão mensurável do piloto.
2. Explique por que um agente é melhor que workflow determinístico ou software existente.
3. Descreva o menor piloto representativo de produção.
4. Entregue plano de avaliação, casos representativos, rubrica e taxonomia de falhas.
5. Mapeie arquitetura, fluxos de dados, provedores, subprocessadores, retenção e acessos.
6. Liste toda ação de ferramenta, credencial, permissão e regra de aprovação proposta.
7. Mostre como os registros conectam entrada, evidência, ação, aprovação, recibo e resultado.
8. Demonstre timeout, duplicidade, falha parcial, rollback e transbordo humano.
9. Abra custo de construção e recorrência por unidade concluída do negócio.
10. Declare propriedade, exportação, portabilidade, documentação e termos de saída.
11. Nomeie time de entrega, responsável operacional e papéis no incidente.
12. Defina aceite, controle de mudança e gates para ampliar, ajustar ou parar.

Como rodar um piloto justo entre fornecedores

1. Entregue o mesmo fluxo e definição de resultado aos finalistas.
2. Forneça um conjunto sanitizado, mas representativo, de casos.
3. Combine os limites de segurança antes de conectar sistemas reais.
4. Pontue a proposta escrita antes da demonstração.
5. Observe casos falhos e ambíguos durante a demonstração.
6. Rode piloto delimitado com credenciais estreitas e aprovação humana.
7. Compare resultado, impacto das falhas, esforço humano, custo e carga operacional.
8. Registre bloqueios e condições, não apenas a nota total.
9. Decida ampliar, ajustar, pausar ou parar.

O scorecard para medir um piloto de automação com IA entrega a camada de medição. O checklist de prontidão para agentes de IA entrega o gate de controle antes do trabalho real.

Sinais de alerta durante a seleção

• A proposta começa pela plataforma antes de definir o processo.
• A demonstração usa exemplo limpo, sem casos representativos.
• Uma média esconde falhas severas ou sem recuperação.
• “Humano no loop” não tem revisor, payload nem expiração.
• Integrações usam credenciais compartilhadas e amplas.
• O orçamento omite avaliação, monitoramento ou operação.
• A implementação depende de uma pessoa e não tem runbook.
• O fornecedor não explica uso dos dados ou provedores.
• O comprador não consegue exportar os artefatos centrais.
• Claims de marketing, logos ou resultados não podem ser verificados.
• O fornecedor garante ROI, qualidade de produção ou prazo antes do diagnóstico.

Perguntas frequentes

O que devo procurar em uma empresa de agentes de IA?

Procure evidência de que a empresa define um trabalho, avalia casos representativos, integra com permissões estreitas, recupera falhas e opera o sistema após o lançamento. Experiência importa, mas inspecione artefatos e testes em vez de depender de rótulos.

Uma demonstração basta para escolher um fornecedor de agentes de IA?

Não. A demonstração mostra que um caminho funciona em condições preparadas. A seleção também deve revisar falhas, limites de segurança, avaliação, dados, custo operacional, propriedade e um piloto representativo.

Como pontuar fornecedores de agentes de IA?

Use pesos alinhados ao negócio e ao risco. O modelo de 100 pontos prioriza aderência, avaliação, dados e segurança, depois arquitetura, autoridade, confiabilidade, observabilidade, propriedade e operação. Bloqueios críticos superam o total.

A proposta mais barata deve vencer?

Não por padrão. Compare custo operacional completo e a evidência necessária para chegar a um resultado aceito. Um preço inicial menor pode esconder integração, correção humana, monitoramento, uso de provedores ou lock-in.

O que o piloto de um agente de IA precisa provar?

Ele deve provar um resultado mensurável em trabalho representativo, com falhas conhecidas, autoridade controlada, custo observável e responsável operacional. Também deve produzir evidência para ampliar, ajustar ou parar.

Como evitar lock-in com o fornecedor?

Defina propriedade, formatos de exportação, credenciais, acesso a código e configuração, artefatos de avaliação, documentação, dependências e apoio de transição antes do piloto. Depois teste pelo menos um caminho de exportação ou recuperação.

Referências primárias

• Diretrizes do governo do Reino Unido para compra de IA
• GSA Buy AI
• Comunicado da CISA sobre o Software Acquisition Guide
• Core do AI Risk Management Framework do NIST
• Boas práticas de avaliação da OpenAI
• Cheat Sheet de segurança para agentes de IA da OWASP
• Agentic AI Lens da AWS

---

Uma boa seleção produz mais que um ranking de fornecedores. Ela produz o primeiro contrato operacional do sistema. Defina fluxo, evidência e piloto para desenvolvimento de agentes de IA sob medida.