InfoCuesta AI Security Check
Segurança em IA de forma simples · cadastro opcional
Open source · InfocuestaSec Entrar
Biblioteca de boas práticas

Riscos e controles de IA

Riscos e controles resumidos a partir de MITRE ATLAS, OWASP LLM Top 10, OWASP LLMSVS e boas práticas próprias da InfocuestaSec.

Riscos

Alto Ética

Geração de Conteúdo Nocivo sem Moderação

A solução não tem nenhuma camada de moderação de conteúdo (própria ou de terceiros) capaz de detectar e bloquear a geração de conteúdo de ódio, violento, sexual explícito ou perigoso — mesmo sem um ataque deliberado, o modelo pode gerar esse tipo de conteúdo em interações normais.

Exemplo: Um chatbot voltado ao público geral, sem guardrail de moderação de conteúdo, responde a um pedido ambíguo com uma descrição detalhada e perigosa (ex.: como fabricar um explosivo caseiro) porque nada na arquitetura verifica a resposta antes de entregá-la ao usuário.
Dica prática: Adicione uma camada de moderação de conteúdo (própria ou de terceiros, ex.: classificadores de segurança do próprio provedor de IA) tanto na entrada quanto na saída, defina categorias de conteúdo proibido claramente, e teste a solução com pedidos ambíguos/de fronteira, não só com ataques óbvios.
Fonte: Boas práticas InfocuestaSec
Médio Ética

Viés e Discriminação

O modelo trata grupos de pessoas de forma diferente e injusta por causa de padrões aprendidos nos dados.

Exemplo: Um sistema de triagem de currículos rejeita candidatos de um determinado grupo com mais frequência, sem justificativa técnica.
Dica prática: Teste as respostas com diferentes perfis e monitore métricas de equidade regularmente.
Fonte: Boas práticas InfocuestaSec
Médio Ética

Personificação Indevida (Imitation)

A IA se passa por uma pessoa real, marca ou organização sem autorização — respondendo como se fosse aquela entidade, adotando o nome ou a identidade dela — o que pode enganar quem interage e gerar dano reputacional ou legal.

Exemplo: Um agente de atendimento, manipulado por um pedido de role-play, passa a responder como se fosse um executivo real de uma empresa concorrente, dando declarações em nome dele que nunca foram autorizadas.
Dica prática: Defina e reforce a identidade fixa da IA — nunca deixe o modelo assumir a identidade de uma pessoa real, marca ou organização específica a pedido do usuário — e monitore respostas que se apresentem como terceiros identificáveis.
Fonte: Boas práticas InfocuestaSec

Controles

  • Avaliação Periódica de Viés — Testes regulares comparando respostas da IA entre diferentes grupos e perfis de usuários.