Riscos e controles resumidos a partir de MITRE ATLAS, OWASP LLM Top 10, OWASP LLMSVS e boas práticas próprias da InfocuestaSec.
Riscos
Médio
Qualidade
Alucinação
A IA gera respostas que parecem corretas mas são inventadas ou factualmente erradas.
Exemplo: Um assistente jurídico cita uma lei ou processo que não existe.
Dica prática: Compare respostas com fontes confiáveis, use RAG bem curado e avise o usuário que a IA pode errar.
Fonte: Boas práticas InfocuestaSec
Médio
Qualidade
Recuperação de Contexto Fraca
O RAG traz documentos pouco relevantes ou desatualizados, piorando a qualidade da resposta.
Exemplo: A busca semântica retorna um manual antigo em vez da versão atual do produto.
Dica prática: Revise periodicamente a base de conhecimento e meça a relevância dos documentos recuperados.
Fonte: Boas práticas InfocuestaSec
Médio
Qualidade
Aconselhamento Especializado sem Qualificação
A IA dá conselhos em áreas que exigem qualificação profissional (jurídica, médica, financeira) como se fosse uma opinião especializada confiável, sem deixar claro os limites do que ela pode responder com segurança nem recomendar a busca por um profissional qualificado.
Exemplo: Um usuário pergunta sobre um sintoma e recebe uma recomendação de tratamento específica e detalhada, apresentada com a mesma confiança de qualquer outra resposta, sem nenhum aviso de que aquilo não substitui uma consulta médica real.
Dica prática: Em domínios sensíveis (saúde, direito, finanças), inclua avisos claros de que a resposta não substitui aconselhamento profissional, calibre a confiança da resposta ao tema, e considere recusar ou redirecionar pedidos que exijam julgamento profissional real.
Fonte: Boas práticas InfocuestaSec
Médio
Qualidade
Estrutura de Prompt Fraca
Prompts ambíguos ou mal estruturados geram respostas inconsistentes e mais fáceis de manipular.
Exemplo: Um prompt sem instruções claras de formato faz a IA responder de jeitos diferentes a cada chamada.
Dica prática: Use instruções claras, exemplos (few-shot) e defina o formato de saída esperado.
Fonte: Boas práticas InfocuestaSec
Médio
Qualidade
Dados de Treinamento Desbalanceados
O conjunto de dados de treino não representa bem todos os grupos ou cenários, gerando modelos enviesados.
Exemplo: Um modelo de classificação de currículos foi treinado majoritariamente com exemplos de um único perfil.
Dica prática: Analise a distribuição dos dados antes de treinar e aplique técnicas de balanceamento quando necessário.
Fonte: Boas práticas InfocuestaSec
Baixo
Qualidade
Extração de Entidades Pouco Confiável
O sistema de NLP erra ao identificar nomes, datas, valores ou outras entidades importantes no texto.
Exemplo: Um extrator de dados de contratos confunde o nome do contratante com o do contratado.
Dica prática: Teste com exemplos reais e variados, e adicione revisão humana para casos críticos.
Fonte: Boas práticas InfocuestaSec