Riscos e controles resumidos a partir de MITRE ATLAS, OWASP LLM Top 10, OWASP LLMSVS e boas práticas próprias da Infocuesta Sec.
Categoria: Segurança
Alguém insere documentos ou dados manipulados na base usada pela IA (treino ou RAG) para influenciar as respostas.
Exemplo: Um atacante publica um documento falso que é indexado pela base de conhecimento do RAG e passa a ser citado como verdade.
Dica prática: Valide a origem dos documentos, monitore mudanças na base e restrinja quem pode adicionar conteúdo.
Fonte: MITRE ATLAS
Categoria: Qualidade
O RAG traz documentos pouco relevantes ou desatualizados, piorando a qualidade da resposta.
Exemplo: A busca semântica retorna um manual antigo em vez da versão atual do produto.
Dica prática: Revise periodicamente a base de conhecimento e meça a relevância dos documentos recuperados.
Fonte: Boas práticas Infocuesta Sec