InfoCuesta AI Security Check
Segurança em IA de forma simples · cadastro opcional
Open source · InfocuestaSec Entrar
Security by Design

Security by Design para IA

Avalie se sua solução de IA nasceu com segurança, privacidade e governança desde o desenho — antes de ir para produção.

72 perguntas em 14 domínios. Responda Sim, Parcial, Não, ou Não se aplica quando o domínio não for relevante para a sua solução. O relatório gerado é temporário e não fica salvo. Sem conta, você vê um resumo grátis; criando conta gratuita e confirmando o e-mail, você vê o diagnóstico completo e pode exportar em PDF/JSON/CSV/Markdown.

1 Sobre a solução
2 Domínios
3 Resultado
Sobre a solução
Governança e Responsabilidade
Existe um responsável definido pela solução de IA?
Uma pessoa ou área precisa responder formalmente pela solução perante a organização.
A finalidade da IA está documentada?
O propósito e o escopo de uso da solução devem estar escritos, não só combinados verbalmente.
Existe aprovação formal antes do uso em produção?
Alguém com autoridade formal precisa aprovar a solução antes dela começar a valer para usuários reais.
Existe avaliação de risco antes da implantação?
Uma análise formal dos riscos da solução deve acontecer antes dela ir para produção.
Existe processo de revisão periódica?
A solução deve ser reavaliada de tempos em tempos, não só uma vez no início.
Privacidade e LGPD
A solução trata dados pessoais?
Mapear se a solução processa dados que identificam ou podem identificar uma pessoa.
Existe base legal definida para o tratamento?
Todo tratamento de dado pessoal precisa de uma base legal válida (consentimento, execução de contrato etc.).
Há minimização de dados?
A solução deve usar só os dados pessoais estritamente necessários, não tudo que está disponível.
Existe política de retenção e descarte?
Deve haver uma regra clara de por quanto tempo os dados ficam guardados e como são descartados depois.
Dados sensíveis são evitados ou protegidos?
Dados sensíveis (saúde, biometria, origem étnica etc.) exigem proteção reforçada ou não devem ser usados.
Controle de Acesso
Existe autenticação para acessar a solução?
Só deve ser possível usar a solução depois de provar quem é o usuário.
Existe MFA para usuários administrativos?
Contas com poder administrativo devem exigir um segundo fator de autenticação, não só senha.
Existe controle de autorização por perfil?
Cada usuário deve poder fazer só o que o perfil dele permite, não tudo que a solução oferece.
Existe segregação entre usuários comuns e administradores?
Contas administrativas devem ser separadas das contas de uso comum, nunca a mesma credencial.
Existe revisão periódica de acessos?
A lista de quem tem acesso (e a quê) deve ser revisada de tempos em tempos, removendo o que não é mais necessário.
Proteção de Dados
Os dados são criptografados em trânsito?
Toda comunicação com a solução deve usar criptografia (HTTPS/TLS), nunca texto puro.
Os dados são criptografados em repouso?
Dados guardados em disco ou banco de dados devem estar criptografados, não em texto puro.
Chaves e segredos ficam fora do código-fonte?
Chaves de API, senhas e outros segredos nunca devem estar escritos diretamente no código.
Existe mascaramento de dados sensíveis?
Dados sensíveis exibidos em telas, logs ou respostas devem aparecer parcialmente ocultos quando possível.
Existe controle contra vazamento de informações?
Deve haver alguma barreira ativa contra a solução revelar informação que não deveria, por engano ou indução.
Segurança de Prompt
Existem controles contra prompt injection?
A solução deve ter alguma defesa contra tentativas de manipular o comportamento da IA via texto de entrada.
O prompt de sistema é protegido?
As instruções internas dadas à IA (prompt de sistema) devem ser protegidas contra exposição e sobrescrita.
Existe validação das entradas do usuário?
O texto enviado pelo usuário deve passar por alguma validação antes de ir para a IA.
Existe limitação do que a IA pode responder?
A IA deve ter limites claros de assunto e tipo de resposta, não responder a qualquer pedido.
Existe tratamento para tentativas de jailbreak?
A solução deve detectar ou resistir a tentativas de burlar as regras de segurança da IA.
Segurança de RAG
A solução usa RAG?
Mapear se a solução busca documentos em uma base própria antes de gerar a resposta.
As fontes de conhecimento são confiáveis?
Os documentos usados pelo RAG devem vir de fontes revisadas e confiáveis, não de qualquer lugar.
Existe controle contra prompt injection indireto em documentos?
Documentos indexados podem conter instruções escondidas que tentam manipular a IA quando lidos (prompt injection indireto).
Existe controle de acesso por documento ou base de conhecimento?
Nem todo usuário deveria poder buscar em toda base de conhecimento — o acesso deve respeitar permissões.
Existe rastreabilidade da origem da resposta?
Deve ser possível saber de qual documento ou fonte veio cada parte da resposta gerada pelo RAG.
Segurança de Agentes
A solução usa agentes autônomos?
Mapear se a solução tem componentes que decidem sozinhos quais passos seguir para atingir um objetivo.
As ações do agente são limitadas por escopo?
O agente deve ter uma lista definida do que pode fazer, não liberdade total de ação.
Existe aprovação humana para ações críticas?
Ações de alto impacto (gastar dinheiro, alterar dados, enviar mensagens) devem passar por uma pessoa antes de acontecer.
O agente possui permissões mínimas?
O agente deve ter só as permissões técnicas necessárias para a tarefa, nunca acesso amplo por conveniência.
Existe log das ações executadas pelo agente?
Toda ação que o agente executa de verdade deve ficar registrada, com contexto de por que foi tomada.
Os servidores MCP (Model Context Protocol) usados pelos agentes exigem autenticação e são de procedência conhecida?
Servidores MCP não-oficiais ou sem autenticação permitem que qualquer cliente capaz de alcançá-los chame funções sem verificação de identidade.
O agente é impedido de acessar diretamente ambientes de produção?
Agentes autônomos não devem operar sobre produção nem guardar credenciais de produção (acessos SSH, tokens de administrador, chaves de banco). Mudanças em produção devem sair como artefato revisável e passar por aprovação humana.
O agente executa em ambiente isolado (sandbox), sem alcançar segredos e diretórios sensíveis do host?
Além de escopo e permissões, o agente deve rodar isolado (sistema de arquivos e rede), com segredos como chaves SSH, credenciais de nuvem e arquivos .env fora do seu alcance.
As ações destrutivas do agente são reversíveis, com backup ou snapshot recente e isolado do agente?
Operações que apagam ou alteram dados em massa precisam ser recuperáveis, com snapshot ou backup recente guardado onde o próprio agente não alcança nem sobrescreve.
Existe contenção (circuit breaker) que impede a falha de um agente de se propagar para os demais num pipeline multiagente?
Em sistemas com múltiplos agentes encadeados, o erro, a alucinação ou o comprometimento de um agente pode se propagar e amplificar nos agentes seguintes sem que nada interrompa a cadeia.
Existe monitoramento para identificar instâncias de agente órfãs ou não autorizadas ainda ativas fora do ciclo de vida esperado?
Agentes autônomos podem continuar rodando, criar cópias de si mesmos ou permanecer ativos além da tarefa para a qual foram criados, mantendo credenciais e acesso sem supervisão.
Integração e APIs
As APIs possuem autenticação forte?
Toda API usada pela solução (própria ou de terceiros) deve exigir autenticação robusta.
Existe rate limit?
As APIs devem limitar quantas requisições um mesmo cliente pode fazer em um período de tempo.
Existe validação de entrada nas APIs?
Toda API deve validar formato, tamanho e tipo dos dados recebidos antes de processar.
Existe proteção contra abuso automatizado?
A solução deve conseguir distinguir e conter uso automatizado abusivo (bots, scraping, scripts em massa).
Existe segregação entre ambiente de teste e produção?
Ambientes de desenvolvimento/teste devem ser fisicamente ou logicamente separados do ambiente de produção.
Logs, Monitoramento e Auditoria
Eventos importantes são registrados?
Ações relevantes (login, uso da IA, mudanças de configuração) devem gerar um registro.
Logs não armazenam dados sensíveis em claro?
Os próprios logs não devem conter senha, chave de API ou dado sensível em texto legível.
Existe monitoramento de uso anômalo?
O uso da solução deve ser observado em busca de padrões fora do normal (volume, horário, tipo de pedido).
Existe alerta para comportamento suspeito?
Quando algo sai do padrão esperado, alguém precisa ser avisado ativamente, não só depois de olhar um relatório.
Existe trilha de auditoria?
Deve ser possível reconstruir, em ordem cronológica, quem fez o quê na solução ao longo do tempo.
Validação Humana
Existe revisão humana para decisões críticas?
Decisões de alto impacto tomadas com ajuda da IA devem ser revisadas por uma pessoa antes de valerem.
Existe processo de contestação ou revisão?
Uma pessoa afetada por uma decisão da IA deve ter como contestar ou pedir revisão dela.
A IA informa limitações quando não tem certeza?
A IA deve sinalizar quando está incerta ou fora do seu escopo de confiança, em vez de responder com confiança total.
Existe controle para evitar decisões totalmente automatizadas indevidas?
Certas decisões (ex.: as que afetam direitos de uma pessoa) não podem ser 100% automáticas sem previsão legal.
Existe validação dos resultados antes de uso sensível?
Antes de um resultado da IA ser usado em algo sensível (financeiro, jurídico, médico), ele deve ser validado.
Resiliência e Continuidade
Existe plano de resposta a incidentes envolvendo IA?
Deve existir um plano específico para quando algo der errado com a solução de IA, não só o plano de TI genérico.
Existe plano de contingência caso a IA fique indisponível?
Deve haver um plano B para quando o provedor de IA ou a solução ficar fora do ar.
Existe rollback de versão de modelo, prompt ou base RAG?
Deve ser possível voltar rapidamente para a versão anterior do modelo, prompt ou base de conhecimento.
Existe backup de configurações importantes?
Prompts, configurações e bases de conhecimento importantes devem ter backup regular.
Existe teste periódico de recuperação?
O plano de contingência e os backups devem ser testados de verdade, não só existir no papel.
Gestão de Terceiros
O provedor de IA foi avaliado do ponto de vista de segurança?
O provedor externo de IA (OpenAI, Anthropic, etc.) deve passar por uma avaliação de segurança antes de ser adotado.
Existem termos claros sobre uso dos dados enviados ao provedor?
Deve estar claro, por contrato ou termos de uso, o que o provedor pode fazer com os dados enviados a ele.
Existe avaliação de localização e transferência internacional de dados?
Deve-se saber em que país os dados são processados e armazenados pelo provedor.
Existe análise contratual ou DPA quando aplicável?
Quando dado pessoal é enviado a um provedor, deve existir um contrato de tratamento de dados (DPA) formalizado.
Existe plano para troca de provedor em caso de risco?
Deve haver um plano para trocar de provedor de IA rapidamente se ele apresentar um risco grave.
DevSecOps e Ciclo de Vida
Alterações em prompts, código e base RAG passam por revisão?
Toda mudança relevante deve ser revisada por outra pessoa antes de ir para produção, igual a uma revisão de código normal.
Existe versionamento de prompts?
Prompts devem ser versionados como código, com histórico de mudanças e autor de cada alteração.
Existe teste de segurança antes do deploy?
A solução deve passar por algum teste de segurança (mesmo que básico) antes de cada deploy relevante.
Existe esteira CI/CD com validações?
O processo de build e deploy deve ser automatizado e incluir validações automáticas, não só passos manuais.
Existe gestão de vulnerabilidades nas dependências?
As bibliotecas e pacotes usados pela solução devem ser monitorados quanto a vulnerabilidades conhecidas.
Você realiza red teaming ou testes adversariais periódicos na solução de IA?
Testar a solução como um atacante faria (jailbreak, vazamento, extração de dado) antes e depois de ir para produção, não só uma vez.
Uso Seguro em Produção
Existe política de uso aceitável?
Deve existir uma política escrita definindo o que é e o que não é uso aceitável da solução de IA.
Usuários são orientados sobre limitações da IA?
Os usuários devem saber que a IA pode errar, alucinar ou ter limitações, e não tratar toda resposta como verdade absoluta.
Existe aviso para não inserir dados sensíveis?
A interface deve avisar ativamente o usuário para não inserir dados sensíveis ou confidenciais na IA.
Existe monitoramento de custo, abuso ou excesso de uso?
O custo e o volume de uso da solução devem ser acompanhados continuamente, não só olhados na fatura no fim do mês.
Existe processo para desligar ou bloquear a solução em emergência?
Deve existir um jeito rápido e conhecido de desligar ou bloquear a solução caso algo grave aconteça.
Existe moderação de conteúdo (entrada e saída) para bloquear conteúdo nocivo, odioso ou perigoso?
Mesmo sem um ataque deliberado, a IA pode gerar conteúdo de ódio, violento, sexual explícito ou perigoso em interações normais se não houver uma camada dedicada de moderação verificando entrada e saída.