01
Trabalho e responsabilidade
Define o que o agente executa, como o sucesso é medido e quem responde pelas exceções.
Avaliação gratuita de prontidão para agentes
Checklist de Produção para Agentes de IA
Um checklist de produção para agentes de IA revisa trabalho, avaliações, permissões, tratamento de falhas, observabilidade e controle humano antes de um agente executar tarefas reais do negócio. Este scorecard gratuito transforma 24 gates de produção em uma decisão documentada: avançar, executar piloto condicional ou segurar.
O que é avaliado
Seis dimensões separam demonstração de agente operado
O scorecard combina orientações atuais de avaliação, segurança e risco em uma revisão operacional. Ele não substitui modelagem de ameaça, análise jurídica ou validação ao vivo.
02
Avaliação
Teste o comportamento realista antes de expor o agente ao trabalho ao vivo.
03
Permissões e dados
Limite conhecimento, credenciais, ferramentas e ações ao mínimo necessário.
04
Confiabilidade e recuperação
Desenhe tratamento previsível de falhas, retentativas e um caminho seguro de retorno.
05
Observabilidade e custo
Torne decisões, chamadas de ferramentas, qualidade, latência e custo visíveis.
06
Controle humano e incidentes
Mantenha pessoas no controle de ações sensíveis, escalonamento e resposta.
Como a decisão funciona
Gates críticos vêm antes da porcentagem
24 gates observáveis
Cada item pede evidência como conjunto de testes, inventário de permissões, rastro, runbook ou regra de aprovação.
Oito bloqueadores críticos
Responsabilidade, avaliação, permissões, rollback, rastros, aprovação ou resposta a incidentes desconhecidos impedem um resultado pronto.
Markdown portátil
Copie ou baixe a revisão atual sem criar conta nem compartilhar dados da empresa.
Scorecard interativo
Revise os 24 gates de produção
Marque cada gate como pronto ou lacuna. Gates críticos não revisados bloqueiam o resultado, porque risco desconhecido continua sendo risco.
01
Trabalho e responsabilidade
Define o que o agente executa, como o sucesso é medido e quem responde pelas exceções.
O agente tem um trabalho de negócio nomeado e um limite documentado.
Gate críticoEvidência a preservar: Definição do trabalho, tarefas incluídas e tarefas excluídas.
Uma pessoa nomeada responde por resultados, exceções e decisões de expansão.
Gate críticoEvidência a preservar: Responsável, substituto e caminho de escalonamento.
O sucesso é medido contra um baseline humano ou de software atual.
Evidência a preservar: Baseline, métrica alvo e janela de revisão.
Exceções conhecidas e pedidos fora do escopo têm tratamento definido.
Evidência a preservar: Catálogo de exceções e regras de transferência.
02
Avaliação
Teste o comportamento realista antes de expor o agente ao trabalho ao vivo.
O conjunto de avaliação representa tarefas reais, casos de borda e falhas.
Gate críticoEvidência a preservar: Casos de teste versionados, amostrados do workflow alvo.
Cada avaliação tem critérios de aceite observáveis.
Evidência a preservar: Resultado esperado, variação permitida e definição de falha.
Seleção de ferramenta, argumentos e resultados finais são avaliados separadamente.
Evidência a preservar: Asserções de chamadas e verificações do resultado ponta a ponta.
Mudanças de prompt, modelo e ferramenta passam por avaliação de regressão.
Evidência a preservar: Gate de release com resultados comparativos preservados.
03
Permissões e dados
Limite conhecimento, credenciais, ferramentas e ações ao mínimo necessário.
Cada ferramenta e credencial segue o princípio do menor privilégio.
Gate críticoEvidência a preservar: Contas de serviço delimitadas, permissões e inventário de credenciais.
Fontes permitidas, retenção e regras para dados sensíveis estão explícitas.
Evidência a preservar: Inventário, classificação e política de retenção dos dados.
Entrada não confiável é isolada de instruções, segredos e ações privilegiadas.
Evidência a preservar: Limites de entrada, sanitização e testes de injeção de prompt.
A saída do agente é validada antes de chegar a outro sistema.
Evidência a preservar: Schemas, listas permitidas e validação de regras do negócio.
04
Confiabilidade e recuperação
Desenhe tratamento previsível de falhas, retentativas e um caminho seguro de retorno.
Timeouts, retentativas e prevenção de duplicidade são definidos por ferramenta.
Evidência a preservar: Política de retentativa, controles de idempotência e orçamento de timeout.
O agente falha com segurança quando modelo, API ou fonte de conhecimento fica indisponível.
Evidência a preservar: Comportamento alternativo e testes de falha das dependências.
Um kill switch testado e um caminho de rollback podem interromper comportamento nocivo.
Gate críticoEvidência a preservar: Runbook, operador responsável e resultado do último exercício.
Limites de concorrência, taxa e recursos são aplicados.
Evidência a preservar: Limites configurados e resultados de teste de carga.
05
Observabilidade e custo
Torne decisões, chamadas de ferramentas, qualidade, latência e custo visíveis.
Cada execução registra decisões, chamadas, resultados e erros.
Gate críticoEvidência a preservar: Rastros pesquisáveis com controles de acesso e retenção.
Sinais de qualidade e falha em produção têm limites e responsáveis.
Evidência a preservar: Painel, limites de alerta e responsável pela resposta.
Custo e latência são medidos por unidade de negócio concluída.
Evidência a preservar: Painel de custo unitário e alertas de orçamento.
Os logs servem para auditoria sem expor segredos ou dados pessoais desnecessários.
Evidência a preservar: Testes de redação, política de acesso e amostra de auditoria.
06
Controle humano e incidentes
Mantenha pessoas no controle de ações sensíveis, escalonamento e resposta.
Ações sensíveis, externas ou irreversíveis exigem aprovação humana.
Gate críticoEvidência a preservar: Matriz de risco das ações e gates de aprovação aplicados.
O agente transfere contexto e trabalho para uma pessoa sem perder o estado.
Evidência a preservar: Teste de transferência com contexto, motivo e próxima ação.
Incidentes do agente têm caminho de resposta, responsável e regra de comunicação.
Gate críticoEvidência a preservar: Runbook de incidente, níveis de severidade e caminho de contato.
Uma revisão recorrente decide manter, mudar, ampliar ou interromper o agente.
Evidência a preservar: Calendário de revisão, registro de decisão e critérios de retirada.
Use o resultado
Trate prontidão como decisão operacional, não como selo
Segurar
Existe gate crítico aberto ou menos de 65% dos gates estão prontos. Não amplie o agente no trabalho ao vivo.
Piloto condicional
Todos os gates críticos estão prontos e a pontuação total está entre 65% e 84%. Rode um piloto delimitado e supervisionado.
Pronto para piloto
Todos os gates críticos estão prontos e a pontuação total é de pelo menos 85%. Valide sob carga real antes de ampliar.
Fontes do método
Construído a partir de orientações primárias sobre produção, avaliação e risco
Os critérios sintetizam estas referências em uma revisão prática para o negócio. Nomes e links permanecem visíveis para o time inspecionar a orientação original.
Perguntas frequentes
Como usar o checklist de produção para agentes de IA
O que torna um agente de IA pronto para produção?
Um agente pronto para produção tem trabalho delimitado, responsável nomeado, avaliações representativas, permissões restritas, falha segura, rastros observáveis, custo controlado e aprovação humana em ações sensíveis. Esses controles precisam ser testados no ambiente alvo, não apenas descritos.
Uma pontuação alta é certificação de segurança ou conformidade?
Não. O scorecard apoia planejamento e revisão. Uma pontuação alta não certifica segurança, privacidade, conformidade, proteção ou resultado do negócio. Essas conclusões exigem evidências, revisão especializada e validação do sistema e da jurisdição exatos.
Quando o scorecard deve ser repetido?
Repita antes do primeiro piloto ao vivo, depois de mudanças relevantes em prompts, modelos, ferramentas, acesso a dados ou permissões e em uma rotina operacional. Incidente ou queda de qualidade sem explicação também deve disparar nova revisão.
Quais evidências o time deve preservar?
Preserve definição do trabalho, responsável, casos e resultados de avaliação, inventário de permissões, rastros, registro do deploy, teste de rollback, regras de aprovação, runbook de incidente, métricas de custo e decisões de revisão. As evidências devem ser versionadas e ter acesso controlado.
Da revisão ao piloto
Feche as lacunas de produção em torno de um trabalho mensurável
O desenvolvimento de agentes transforma o scorecard em arquitetura, avaliações, integrações e um piloto operado com limites explícitos.
Ver desenvolvimento de agentes de IA