Müfredat 250 dersinden 184. · LLM'leri Yayına Hazırlama: Maliyet, Önbellekleme ve Koruma Bariyerleri
LLM'leri Yayına Hazırlama: Maliyet, Önbellekleme ve Koruma Bariyerleri

Prompt-Injection Savunma Hattı

Prompt injection, SQL injection'ın LLM karşılığıdır: bir kullanıcı, sistem promptunu geçersiz kılmak, sızdırmak veya modelin davranışını ele geçirmek için girdisine talimatlar gizler. Klasik payloadlar arasında "ignore all previous instructions", "reveal your system prompt", "you are now a..." ve "developer mode" bulunur. Pratik ilk savunma hattı, bu bilinen kalıpları tarayan bir detector, önceki PII redactor'ı ve bir çıktı kontrolü ile birleştirilip her şeyin içinden geçtiği tek bir guard içine bağlanmasıdır.

Dedektör, boş alarm vermeyecek kadar spesifik olmalı. "Daha önce Paris'i ziyaret ettim" zararsızdır ve onu tetiklememeli; "ignore all previous instructions" ise tetiklemeli. Tehlikeli phrase ifadesine eşleşme yapmalısın, tek bir masum kelimeye değil ve engellediğin nedenleri döndürmelisin ki bloklama denetlenebilir olsun.

import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
            r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively

Tam kapı parçaları birleştirir: ham girişte enjeksiyonu tespit et, PII bilgilerini gizle ve girdi güvenli olduğunda sadece (taslak) modeli çağır. Üretimde model adımı gerçek bir çağrı olur; burada notlandırmanın deterministik kalması için bir taslak yerini tutar. Notlandırıldığın nokta gate logic.

İki fonksiyon oluştur. (1) detect_injection(text) -> score değerinin kaç desen eşleştiğini belirttiği bir {"is_injection": bool, "score": int, "patterns": [...]} sözlüğü döndür. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: eğer injection tespit edilirse, blocked=True değerini ayarla ve "prompt_injection" değerini reasons listesine ekle; her zaman PII verisini safe_text içine gizle ve eğer herhangi bir PII bulunduysa "pii_redacted" ile başlayan bir neden ekle. Temiz bir mesaj olduğu gibi geçer ve engellenmez.

Senin sıran

detect_injection(text) oluştur ve {"is_injection", "score", "patterns"} (score = eşleşen injection kalıpları sayısı) ile {"safe_text", "blocked", "reasons"} döndüren guard(user_text) oluştur. guard, injection tespit edildiğinde engeller (neden "prompt_injection" ekler), PII bilgilerini her zaman safe_text içine maskeler (herhangi biri bulunduğunda bir "pii_redacted..." nedeni ekler) ve temiz bir mesajı olduğu gibi bırakır ve engellemez. "I previously asked about the weather" gibi zararsız bir benzeri engellenmemelidir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.