Müfredat 250 dersinden 228. · Proje: Production AI Gateway
Proje: Production AI Gateway

Koruma Hattı + İz

Bu son parça ve gerçek kullanıcıların önüne gateway koymanı sağlayan kısım: safety ve observability. Herhangi bir metin modele ulaşmadan önce onu prompt-injection denemelerini engelleyen ve kişisel verileri temizleyen bir guard pipeline üzerinden geçirirsin. Ve her çağrıdan sonra bir trace event kaydedersin, sonra bu olayları on-call mühendisin gerçekten baktığı özetin içine dahil edersin. Bu iki fikir, "guardrail" ve "cost-account", bu modüle başladığın resume satırını tamamlar.

Muhafız. İstek metnini inceleyen ve {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]} gibi bir verdict dict döndüren guard(request) yaz. İki kontrol:

  • Enjeksiyon bloğu: eğer metin bilinen bir saldırı kalıbıyla eşleşirse (örneğin "ignore all previous instructions", "reveal the system prompt", "you are now..." gibi), allowed=False ile doğrudan reddet. Burada küçük bir büyük-küçük harf duyarsız regex listesi yeterli olacaktır.
  • PII düzenleme: aksi takdirde, e-postaları ve telefon numaralarını metinden temizle, bunların yerine [EMAIL] ve [PHONE] yer tutucularını koy ve temizlenmiş metni allowed=True ve bulduğun türlerin listesiyle birlikte döndür.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)

def guard(request):
    text = request["text"]
    if INJECTION.search(text):
        return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
    clean, kinds = redact(text)
    return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}

İz. Sunulan her istek bir iz bırakır: hangi handler çalıştı, engellendi mi ve maliyeti neydi. handler, blocked ve cost anahtarlarına sahip bir sözlükler listesi üzerinde aggregate_trace(events) yaz. Toplam calls sayısı, kaç tanesinin blocks olduğu, gerçekten izin verilen çağrıların total_cost değeri ve handler başına çağrı ve maliyet by_handler dökümünü içeren bir özet döndür. Bu, bir pandas groupby:

için mükemmel bir iş.
df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])

Engellenen istekler maliyet oluşturmaz ve total_cost değerini şişirmemelidir, bu yüzden maliyeti sadece izin verilen satırlar üzerinden topla. Yeni bir gateway'in çökmesi yerine temiz sıfırlar raporlaması için boş-izleme durumunu yönet. Bir enjeksiyonu engellemek, iletişim bilgileri dolu bir isteği sansürlemek, zararsız bir isteğe izin vermek ve özetlenmiş bir izleme yazdırmak için Run tuşuna bas.

Senin sıran

Bir verdict dict döndüren guard(request) yaz (request bir "text" anahtarına sahip). Prompt-injection denemelerini (küçük bir case-insensitive regex listesi) allowed=False ve reason="injection" ile engelle; aksi takdirde e-postaları ve telefon numaralarını [EMAIL]/[PHONE] yer tutucularına göre sansürle ve allowed=True, temizlenmiş text ve bulunan türlerin listesini döndür. Sonra handler, blocked, cost içeren dictler üzerine aggregate_trace(events) yaz; burada total_cost sadece izin verilen (engellenmemiş) çağrıları toplasın ve by_handler çağrıları/maliyeti handler başına ayırsın, {"calls", "blocks", "total_cost", "by_handler"} döndür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.