Riscos e controles resumidos a partir de MITRE ATLAS, OWASP LLM Top 10, OWASP LLMSVS e boas práticas próprias da InfocuestaSec.
Riscos
Médio
Processo
Qualidade de Dados Baixa
Os dados usados para treinar ou alimentar a IA têm erros, duplicidades ou estão desatualizados.
Exemplo: Uma base de FAQ usada em um RAG tem respostas antigas que não valem mais.
Dica prática: Tenha um processo periódico de limpeza e curadoria dos dados.
Fonte: Boas práticas InfocuestaSec
Médio
Processo
Ausência de Monitoramento em Produção
Ninguém acompanha o comportamento da IA depois que ela vai para produção.
Exemplo: O modelo começa a dar respostas ruins depois de uma mudança externa e isso só é percebido semanas depois, por reclamação de clientes.
Dica prática: Monitore métricas de qualidade, custo e erros continuamente, com alertas automáticos.
Médio
Processo
Ausência de Registro (Log)
Não existe histórico das interações, decisões e respostas da IA para investigar problemas depois.
Exemplo: Um cliente reclama de uma resposta ofensiva da IA, mas não há como recuperar a conversa original.
Dica prática: Registre entradas, saídas e metadados relevantes, respeitando políticas de privacidade.
Médio
Processo
Ausência de Versionamento de Modelos
Não há controle de qual versão do modelo está em produção nem como reverter para uma versão anterior.
Exemplo: Uma atualização de modelo piora as respostas e a equipe não consegue voltar rapidamente para a versão anterior.
Dica prática: Use uma ferramenta de versionamento de modelos (ex.: MLflow) e mantenha um histórico de deploys.
Fonte: Boas práticas InfocuestaSec
Baixo
Processo
Baixa Reprodutibilidade
Não é possível recriar os mesmos resultados de um experimento de IA por falta de controle de versão de dados e código.
Exemplo: Um modelo em produção não pode ser retreinado da mesma forma porque ninguém salvou a versão exata dos dados usados.
Dica prática: Versione dados, código e parâmetros de treino (ex.: com DVC, MLflow).
Fonte: Boas práticas InfocuestaSec