적대적 레드팀 모음
문 앞의 경비원과 말투 분류기가 있어요. 그것들이 실제로 동작하는지 어떻게 알까요? 내 앱을 직접 공격해요. 레드팀 모음은 바뀔 때마다 지켜진 처리기에 쏘는 고정된 적대적 프롬프트 묶음이라서, 방어의 퇴보가 뉴스 헤드라인이 아니라 숫자로 나타나요. 안전판 테스트 모음이에요.
전체가 오프라인이고 결정적이에요. "모델"은 작은 가짜라서 테스트가 빠르고 네트워크를 결코 부르지 않아요: 먼저 내 방어를 돌리고, 프롬프트가 허용될 때만 (가상의) 민감한 답을 돌려주는 guarded_handler(prompt)예요.
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'처리기의 응답에 여전히 비밀이 들어 있으면 공격이 뚫고 들어간(새어 나간) 거예요. 응답이 거절이면 막힌 거예요. 레이블 붙은 공격 프롬프트 모음을 처리기에 돌리고 결과를 세요:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}이름에 대한 참고 하나, 사람들이 자주 걸려 넘어지니까요: 레이블은 공격자 쪽에서 붙인 레드팀 관례예요. 비밀을 새게 한 공격은 "passed"(방어를 통과함)이고, 거절된 공격은 "blocked"예요. 보고서는 방어자로서 읽으세요, 실무에서 신경 쓰는 게 그거니까요: blocked는 내 방어가 막은 공격의 리스트이고, passed는 방어를 이긴(새게 한) 공격의 리스트이고, leak_rate는 len(passed) / number_of_attacks예요. 완벽한 방어는 passed 리스트가 비어 있고 leak_rate가 0.0이에요. 일부러 새는 방어를 어떤 공격이 빠져나가는지 보고, 방어를 조이면 새는 비율이 0으로 떨어지는 걸 보려면 실행을 누르세요.
왜 모델을 가짜로 만드나
진짜 LLM을 레드팀 하면 유료이고 느리고 비결정적인 호출이 수천 번 필요해서, 단위 테스트 안에서는 쓸모가 없어요. 가짜는 문제의 모양(능력 앞의 경비)을 지키면서 모음을 즉각적이고 반복 가능하게 만들어요. 실제 파이프라인에서는 가짜를 실제 처리기로 바꾸고 CI에서 정확히 같은 채점 코드를 돌려요.
각 공격 프롬프트를 handler에 쏘고 응답을 분류하는 run_suite(handler, attacks, secret)를 쓰세요: 응답에 여전히 secret이 들어 있으면 공격은 passed(새어 나감), 아니면 blocked예요. 리스트가 공격 프롬프트를 담은 {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)}를 돌려주세요. 그다음 report = run_suite(guarded_handler, ATTACKS, SECRET)로 정하세요(풀이의 guarded_handler는 모든 공격을 막으니 leak_rate는 0.0이에요).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.