Red Teaming

Red Teaming은 시스템이 정상적인 사용 사례에서 잘 작동하는지만 보는 대신, 의도적으로 실패를 유도하는 입력과 상황을 만들어 취약점이나 유해 행동을 찾는 평가 접근법이다. LLM에서는 유해한 생성, 개인정보 노출, 편향, 규칙 우회처럼 배포 전에 발견하기 어려운 행동을 탐색하는 데 사용된다.^[1]

Perez 등은 사람이 모든 공격성 테스트를 직접 작성하는 비용 문제를 줄이기 위해 다른 언어 모델로 테스트 입력을 생성하고 대상 모델의 유해 반응을 찾는 방법을 연구했다.^[1] 연구는 다양한 유형의 실패 사례를 대규모로 탐색할 수 있음을 보여줬지만, 자동화된 레드팀 하나만으로 모든 위험을 찾을 수 있다고 보지는 않는다.

Red Teaming은 Safety Evaluation의 한 방법이며, 일반 성능 벤치마크를 대체하지 않는다. 발견된 실패는 수정 여부와 재검증 결과를 함께 기록하고, 중요한 배포 판단과 제한사항은 System Card 같은 문서에 연결하는 편이 좋다. 실제 레드팀은 모델 자체뿐 아니라 프롬프트, 도구 권한, 검색·에이전트 연결과 사용자 인터페이스까지 시스템 경계를 기준으로 설계해야 한다.