red teaming
Categoria: guardrails e regras
Prática de segurança onde testadores simulam ataques adversariais contra o agente, tentando explorar vulnerabilidades como jailbreaks, vazamento de instruções de sistema, geração de conteúdo proibido ou manipulação de ferramentas.