Biblioteca de Boas Práticas

Riscos e controles resumidos a partir de MITRE ATLAS, OWASP LLM Top 10, OWASP LLMSVS e boas práticas próprias da Infocuesta Sec.

Riscos

Médio Ausência de Monitoramento em Produção

Categoria: Processo

Ninguém acompanha o comportamento da IA depois que ela vai para produção.

Exemplo: O modelo começa a dar respostas ruins depois de uma mudança externa e isso só é percebido semanas depois, por reclamação de clientes.

Dica prática: Monitore métricas de qualidade, custo e erros continuamente, com alertas automáticos.

Médio Ausência de Versionamento de Modelos

Categoria: Processo

Não há controle de qual versão do modelo está em produção nem como reverter para uma versão anterior.

Exemplo: Uma atualização de modelo piora as respostas e a equipe não consegue voltar rapidamente para a versão anterior.

Dica prática: Use uma ferramenta de versionamento de modelos (ex.: MLflow) e mantenha um histórico de deploys.

Fonte: Boas práticas Infocuesta Sec

Monitoramento Contínuo em Produção — Métricas de qualidade, custo e erros da IA são acompanhadas continuamente, com alertas automáticos.
Versionamento de Modelos e Dados — Modelos, dados e parâmetros de treino são versionados, permitindo reverter e reproduzir resultados.