Promptfoo
Melhor caso de uso: Times que já testam prompts e querem adicionar checagem de segurança/regressão no mesmo fluxo.
Vantagens
- Fácil de usar via YAML, sem precisar programar
- Testa prompts, RAG e agentes no mesmo formato
- Roda local, sem mandar dado para terceiros
Desvantagens
- Foco maior em teste funcional/qualidade do que em ataque adversarial avançado
| Custo | Gratuito (open source), custo só das chamadas de API que ele faz |
|---|
| Facilidade | Alta |
|---|
| Segurança | Depende de como é configurado — quem roda tem acesso às chaves de API usadas |
|---|
| Privacidade | Alta, roda localmente |
|---|
| Uso local | Sim |
|---|
| Uso corporativo | Comum em times de produto/QA de IA |
|---|
Ponto de atenção: Não substitui um red team humano para cenários complexos de ataque.
PyRIT (Microsoft)
Melhor caso de uso: Times de segurança que já fazem red teaming manual e querem escalar a geração de ataques.
Vantagens
- Gera prompts adversariais em escala automaticamente
- Mantido pela Microsoft, usado em red teams profissionais
- Biblioteca Python, integra com pipelines existentes
Desvantagens
- Exige saber programar em Python
- Curva de aprendizado maior que ferramentas com YAML/UI
| Custo | Gratuito (open source), custo das chamadas de API que ele faz |
|---|
| Facilidade | Média |
|---|
| Segurança | Depende de como é configurado |
|---|
| Privacidade | Alta, roda localmente |
|---|
| Uso local | Sim |
|---|
| Uso corporativo | Usado por times de segurança/red team dedicados |
|---|
Ponto de atenção: Ferramenta técnica — não é o ponto de partida para quem nunca testou segurança de IA antes.
Garak
Melhor caso de uso: Quem quer rodar uma varredura ampla de técnicas conhecidas de ataque contra um modelo específico.
Vantagens
- Scanner de vulnerabilidades específico para LLM, com vários 'probes' prontos
- Gratuito e open source
- Boa cobertura de técnicas conhecidas de jailbreak/vazamento
Desvantagens
- Interface via linha de comando, menos amigável para quem não é técnico
- Resultados exigem interpretação — nem todo achado é uma vulnerabilidade confirmada
| Custo | Gratuito (open source) |
|---|
| Facilidade | Média |
|---|
| Segurança | Depende de como é configurado |
|---|
| Privacidade | Alta, roda localmente |
|---|
| Uso local | Sim |
|---|
| Uso corporativo | Usado por pesquisadores e times de AI security |
|---|
Ponto de atenção: Como qualquer scanner automatizado, achados são indício — precisam de validação manual (mesmo princípio usado no nosso Scanner).
JailbreakBench
Melhor caso de uso: Entender o estado da arte em técnicas de jailbreak e comparar a robustez relativa de diferentes modelos antes de escolher qual usar.
Vantagens
- Dataset padronizado (JBB-Behaviors, 100 comportamentos em 10 categorias) para comparar ataques e defesas de forma reprodutível
- Leaderboard público mostra o desempenho de diferentes técnicas de jailbreak contra modelos conhecidos
- Aceita avaliação de ataques black-box, white-box e adaptativos
Desvantagens
- É um benchmark acadêmico de pesquisa, não uma ferramenta pronta para rodar contra a sua própria solução
- Foco só em jailbreak — não cobre prompt injection indireta, RAG, agentes ou os outros riscos que Promptfoo/PyRIT/Garak testam
| Custo | Gratuito (open source, projeto acadêmico) |
|---|
| Facilidade | Baixa para uso direto — é dataset/benchmark de pesquisa, não uma CLI de teste |
|---|
| Segurança | Não aplicável — é um recurso de comparação, não uma ferramenta que roda contra a sua solução |
|---|
| Privacidade | Alta — usa o dataset público do benchmark, nada da sua solução é enviado a terceiros |
|---|
| Uso local | Parcial — dataset e código são locais, o leaderboard é público |
|---|
| Uso corporativo | Mais usado por pesquisadores e times avançados de AI red team do que por empresas testando produção diretamente |
|---|
Ponto de atenção: Não substitui testar a sua solução específica — o benchmark avalia modelos base, não a sua aplicação com seus prompts, guardrails e integrações.