Riscos e controles de IA

Riscos

Controles

• Validação Humana antes de Ações Críticas — Toda ação de alto impacto executada por um agente de IA passa por aprovação humana antes de acontecer de verdade.
• Registro (Log) de Interações e Decisões — As interações, decisões e erros da IA são registrados de forma estruturada para auditoria e investigação.
• Controle de Acesso e Autenticação — Apenas pessoas autorizadas podem usar, configurar ou acessar dados sensíveis da solução de IA.
• Filtros e Testes contra Prompt Injection — Testes periódicos com prompts maliciosos controlados e filtros que detectam tentativas de manipulação.
• Validação e Sanitização da Saída da IA — Toda saída da IA usada por outro sistema é tratada como entrada não confiável antes de ser executada ou exibida.
• Avaliação Periódica de Viés — Testes regulares comparando respostas da IA entre diferentes grupos e perfis de usuários.
• Política de Uso Responsável de IA — Documento simples com regras de uso aceitável, limites e responsáveis pela IA na organização.
• Monitoramento Contínuo em Produção — Métricas de qualidade, custo e erros da IA são acompanhadas continuamente, com alertas automáticos.
• Criptografia e Isolamento em Bancos Vetoriais — Dados vetoriais são criptografados, segregados por cliente/time e têm prazo de retenção definido.
• Curadoria e Qualidade de Dados — Processo periódico de revisão, limpeza e validação de origem dos dados usados pela IA.
• Versionamento de Modelos e Dados — Modelos, dados e parâmetros de treino são versionados, permitindo reverter e reproduzir resultados.
• Gestão de Dependências e Supply Chain — Bibliotecas e modelos de terceiros são avaliados, com versões travadas e monitoramento de vulnerabilidades.
• Guardrails de Prompt — Instruções de sistema bem definidas, exemplos e limites claros do que o prompt deve e não deve fazer.
• Avaliação de Qualidade do RAG — Métricas de relevância e atualidade dos documentos recuperados são acompanhadas continuamente.
• Definição de Métricas e ROI — Métricas de sucesso e retorno esperado são definidas antes de colocar a solução de IA em produção.
• Hardening da Infraestrutura de Inferência — Endpoints de inferência ficam protegidos por autenticação, rede privada e limites de uso.
• Balanceamento e Auditoria de Dados de Treino — A distribuição dos dados de treino é analisada e ajustada para reduzir vieses e desequilíbrios.
• Revisão Humana de Extração de Entidades — Extrações críticas feitas por NLP passam por revisão humana antes de alimentar outro processo.
• Sandbox para Agentes de Código — O agente roda isolado: só a pasta do projeto é gravável, chaves, tokens e pasta pessoal ficam fora de alcance, a rede é filtrada e nada que equivalha a root no host (como o socket do Docker) entra no sandbox. Para código de origem duvidosa, VM descartável.
• Permissões do Agente em Três Níveis — A lista de permissões do agente separa o que ele faz sozinho (ler, testar, commit local), o que exige confirmação (push, apagar arquivo, subir container) e o que é proibido (sudo, chmod 777, push forçado). O envio ao repositório remoto fica sempre com uma pessoa.
• Snapshot e Backup Fora do Alcance do Agente — A máquina onde o agente trabalha tem snapshots automáticos frequentes (BTRFS, APFS) e backup criptografado em outro aparelho, que o agente não consegue alterar. A restauração é testada de tempos em tempos.
• Agente Fora de Produção — Nenhum agente tem credencial de produção. Ele trabalha em staging e entrega mudanças como código versionado (Terraform, Ansible, migrations) que uma pessoa revisa e promove.
• Verificação na Origem antes e depois de Ação Destrutiva — Antes de apagar ou sobrescrever em massa, o agente confere as pré-condições (lista de proteção não vazia e com o tamanho esperado). Depois, o resultado é provado comparando destino e origem, sem confiar no relatório de sucesso da ferramenta.
• Revisão de Arquivos de Instrução e Skills de Terceiros — CLAUDE.md, AGENTS.md, regras de editor e skills vindos de fora são lidos antes do uso, inclusive procurando Unicode invisível; PRs que alteram esses arquivos exigem aprovação humana; skill que manda baixar programa ou colar comando é recusada.
• Revisão de Código Gerado por IA com Foco em Autorização — Todo PR gerado por IA passa por revisão de autorização e controle de acesso e pela leitura dos testes que o agente escreveu (o que afirmam, se os mocks batem com a API real). Mudanças grandes têm uma segunda revisão independente.
• Avaliação do Agente com Falhas Plantadas — Antes de adotar um modelo ou agente de código, ou de trocar a forma de servi-lo, ele é testado em tarefas do próprio contexto com falhas plantadas por gravidade, medindo o que acha sem aviso, só depois de avisado e nunca.
• Memória de Agente Tratada como Pista — O que vem da memória de longo prazo é verificado antes de virar ação; a promoção de lições para a memória compartilhada passa por revisão; segredos são filtrados antes de gravar; cada entrada tem autor e histórico para ser desfeita.
• Limite de Tentativas e Orçamento em Chamadas ao Modelo — Todo loop que chama o modelo (retry, agente, compactação) tem número máximo de tentativas e teto de tokens e de gasto por período, com alerta antes de estourar.
• Provedores Fixados em Agregadores de Modelos — Quando a solução usa um agregador (ex.: OpenRouter), a lista de provedores permitidos é fixada, o fallback automático fica desligado, só provedores sem retenção de dados são aceitos e cada um entra na análise de LGPD.
• Marcação de Conteúdo Sintético e Decisão com Vários Sinais — Conteúdo gerado pela solução sai marcado de forma legível por máquina (C2PA, marca d'água) e com aviso ao usuário; decidir se algo foi feito por IA nunca depende de um único detector.
• Verificação do Artefato Publicado — O pacote, imagem ou build que vai para o público é inspecionado no CI antes de publicar: sem source map, .env, chave, endpoint interno ou ferramenta de teste esquecida.
• Servidores MCP de Procedência Conhecida e Autenticados — Só servidores MCP oficiais ou de procedência conhecida são usados, sempre com autenticação, mesmo onde a especificação a trata como opcional. Servidor local só é instalado depois de ler o comando completo, e de preferência roda em sandbox.
• Versão Fixada e Monitoramento das Ferramentas MCP — A descrição de cada ferramenta MCP é tratada como entrada não confiável: a versão do servidor é fixada, mudanças na descrição entre sessões geram alerta e uma nova aprovação, e aprovar um servidor uma vez não vale para sempre.
• Isolamento por Usuário e Sessão em Todo Estado — Cache, memória e conexões MCP são isolados por usuário e sessão validados, o agente recebe só o contexto da tarefa atual, e o isolamento é testado com sessões simultâneas reais, de forma periódica.
• Objetivo do Agente Fixado e Desvio Monitorado — O objetivo e o escopo do agente são definidos fora do alcance de qualquer entrada externa (conteúdo recuperado ou pedido do usuário não reescreve o objetivo), e o comportamento é monitorado contra esse escopo.
• Chamadas de Ferramenta Validadas contra o Uso Esperado — Antes de executar, cada chamada de ferramenta do agente é conferida contra uma lista do uso esperado, e cada ferramenta tem raio de ação limitado (ex.: e-mail só para domínios conhecidos).
• Mensagens entre Agentes Autenticadas e Validadas — Cada mensagem entre agentes tem origem autenticada e formato e conteúdo validados antes de virar ação, com o mesmo cuidado aplicado à entrada de usuário.
• Disjuntor (Circuit Breaker) em Pipelines Multiagente — A saída de cada agente é validada antes de seguir para o próximo, há limite de repetição e de propagação, e existe um jeito de parar a cadeia inteira e chamar revisão humana quando um agente sai do esperado.
• Inventário e Ciclo de Vida dos Agentes — Cada instância de agente tem identificador, dono e ciclo de vida explícito (criação, expiração automática, encerramento); o inventário de agentes ativos alerta sobre instâncias sem dono ou além do tempo previsto.
• Aprovação Humana Informada e Auditoria por Amostragem — A tela de aprovação mostra o suficiente para decidir, não só um botão 'aprovar'; aprovações em lote ou sem leitura são tratadas como alerta de processo, e fluxos de alta confiança passam por auditoria amostral.
• Gateway de IA em Rede Privada e com Autenticação — O gateway ou proxy de LLM fica atrás de VPN, WAF ou rede privada, exige autenticação em todas as rotas (inclusive administração), roda com permissão mínima na nuvem e tem monitoramento de consumo anômalo.
• Conteúdo de Mídia e de Links Tratado como Dado — Texto extraído de imagem, áudio ou documento e prompts pré-preenchidos que chegam por link são tratados como dado, nunca como instrução: ficam separados do prompt de sistema, são mostrados ao usuário antes de executar e não gravam na memória sem aprovação.
• Sanitização de Markdown/HTML na Resposta — Markdown e HTML gerados pela IA são sanitizados antes de renderizar, a CSP restringe de onde imagens podem carregar e a URL completa é mostrada antes de seguir qualquer link sugerido pela IA.
• Permissão Validada no Momento da Consulta ao RAG — A permissão do usuário é checada no momento da consulta, não presumida da indexação; fontes sensíveis ficam em índices com controle próprio, a escrita no índice vetorial é restrita e o que é recuperado é validado antes de entrar no prompt.
• System Prompt sem Segredos e Testado contra Vazamento — System prompt e raciocínio interno são tratados como informação que pode vazar: nunca contêm segredo ou chave, e a solução é testada pedindo, de forma direta e indireta, que a IA revele suas instruções.
• Proteção contra Extração e Inversão de Modelo — A API do modelo tem rate limit e acesso restrito, consultas repetitivas ou sistemáticas são monitoradas, e dados sensíveis só entram no treino depois de anonimizados.
• Testes de Robustez Adversarial — O modelo é testado com entradas levemente alteradas de propósito antes de ir para produção e a cada retreino, e técnicas de robustez adversarial são avaliadas onde o erro tem impacto alto.
• Moderação de Entrada e Saída — Há uma camada de moderação na entrada e na saída, com categorias de conteúdo proibido definidas por escrito e testes com pedidos ambíguos e de fronteira, não só com ataques óbvios.
• Identidade Fixa da IA e Limites em Temas Sensíveis — A IA mantém uma identidade fixa e não assume a de pessoas reais, marcas ou organizações; em saúde, direito e finanças, avisa que não substitui um profissional e recusa ou redireciona o que exige julgamento profissional.
• Fontes Verificáveis em Afirmações Factuais — Afirmações factuais importantes vêm com fonte verificável e grounding (RAG) em vez de só conhecimento do modelo, e quem usa é orientado a desconfiar de respostas muito específicas sem referência.
• AIBOM Versionado por Solução — Cada solução tem um AIBOM versionado (CycloneDX 1.6 ou SPDX 3.0.1) com modelo e hash dos pesos, datasets, licenças, adaptadores e servidores MCP, atualizado a cada troca de modelo e cruzado com os alertas de segurança.