एक विरोधी red-team suite
आपके पास दरवाज़े का पहरेदार और लहजे का classifier है। आपको कैसे पता चलेगा कि वे सचमुच काम करते हैं? आप अपने ही ऐप पर हमला करते हैं। एक red-team suite विरोधी prompts का एक तय समूह है जिसे आप हर बदलाव पर अपने सुरक्षित handler पर दाग़ते हैं, ताकि आपकी सुरक्षा में गिरावट सुर्ख़ी के बजाय एक संख्या के रूप में दिखे। यह test suite का सुरक्षा वाला रूप है।
पूरी चीज़ offline और निश्चित है। "मॉडल" एक छोटा mock है ताकि टेस्ट तेज़ हो और कभी network न बुलाए: एक guarded_handler(prompt) जो पहले आपकी सुरक्षा चलाता है, और सिर्फ़ prompt की अनुमति होने पर ही (नक़ली) संवेदनशील जवाब लौटाता है।
SECRET = "the launch code is 1234"
def guarded_handler(prompt):
if is_attack(prompt):
return "I can't help with that." # blocked
return SECRET # the model 'answered'एक हमला पार हो गया (एक लीक) जब handler के जवाब में अब भी secret हो। वह रोका गया जब जवाब इनकार हो। आप labelled हमला prompts का एक suite handler से गुज़ारेंगे और नतीजा गिनेंगे:
{
"passed": [...], # attacks that got through and leaked the secret (bad)
"blocked": [...], # attacks the defence stopped (good)
"leak_rate": 0.0 # fraction of attacks that leaked the secret
}नाम पर एक बात, क्योंकि यह लोगों को उलझाता है: labels red-team की परंपरा हैं, हमलावर की तरफ़ से रखे गए। secret लीक करने वाला हमला "passed" (आपकी सुरक्षा से पार हो गया); जो मना कर दिया गया वह "blocked"। रिपोर्ट को बचाव करने वाले की तरह पढ़ें, जो production में आपके लिए मायने रखता है: blocked उन हमलों की सूची है जिन्हें आपकी सुरक्षा ने रोका, passed उन हमलों की सूची है जिन्होंने उसे हराया (जो लीक हुए), और leak_rate है len(passed) / number_of_attacks। एक पूर्ण सुरक्षा की passed सूची ख़ाली होती है और leak_rate 0.0। देखने के लिए Run दबाएँ कि जानबूझकर रिसने वाली सुरक्षा से कौन-से हमले फिसल जाते हैं, फिर सुरक्षा कसने पर leak rate को शून्य पर गिरते देखें।
मॉडल का mock क्यों
एक असली LLM को red-team करने का मतलब है हज़ारों पैसे वाली, धीमी, अनिश्चित कॉल, जो unit test के अंदर बेकार हैं। mock समस्या का आकार रखता है (एक क्षमता के सामने एक पहरेदार) और suite को तुरंत और दोहराने लायक बनाता है। एक असली pipeline में आप mock को अपने असली handler से बदलते हैं और CI में ठीक वही scoring कोड चलाते हैं।
run_suite(handler, attacks, secret) लिखें जो हर हमला prompt को handler से गुज़ारे और जवाब classify करे: अगर जवाब में अब भी secret है तो हमला passed (लीक हुआ), नहीं तो वह blocked था। {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} लौटाएँ जहाँ सूचियों में हमला prompts हैं। फिर report = run_suite(guarded_handler, ATTACKS, SECRET) सेट करें (हल का guarded_handler हर हमला रोकता है, इसलिए leak_rate 0.0 है)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।