Riscos e controles resumidos a partir de MITRE ATLAS, OWASP LLM Top 10, OWASP LLMSVS e boas práticas próprias da Infocuesta Sec.
Categoria: Qualidade
O conjunto de dados de treino não representa bem todos os grupos ou cenários, gerando modelos enviesados.
Exemplo: Um modelo de classificação de currículos foi treinado majoritariamente com exemplos de um único perfil.
Dica prática: Analise a distribuição dos dados antes de treinar e aplique técnicas de balanceamento quando necessário.
Fonte: Boas práticas Infocuesta Sec
Categoria: Processo
Não é possível recriar os mesmos resultados de um experimento de IA por falta de controle de versão de dados e código.
Exemplo: Um modelo em produção não pode ser retreinado da mesma forma porque ninguém salvou a versão exata dos dados usados.
Dica prática: Versione dados, código e parâmetros de treino (ex.: com DVC, MLflow).
Fonte: Boas práticas Infocuesta Sec