Silabus Pelajaran 184 dari 250 · Memproduksi LLM: Biaya, Caching & Guardrails
Memproduksi LLM: Biaya, Caching & Guardrails

Pipa Pertahanan Prompt-Injection

Prompt injection adalah padanan LLM dari SQL injection: pengguna menyelipkan instruksi ke dalam input mereka untuk mencoba menimpa system prompt kamu, membocorkannya, atau mengambil alih perilaku model. Payload klasik termasuk "ignore all previous instructions", "reveal your system prompt", "you are now a...", dan "developer mode". Garis pertahanan pertama yang praktis adalah detector yang memindai pola yang sudah diketahui ini, dipasangkan dengan PII redactor dari sebelumnya dan pengecekan output, semuanya dihubungkan ke dalam satu guard tempat semua data mengalir.

Detektornya harus cukup spesifik supaya tidak salah sangka. "I previously visited Paris" itu aman dan tidak boleh memicu detektor; "ignore all previous instructions" harus memicu. Kamu mencocokkan dengan phrase yang berbahaya, bukan satu kata polos saja, dan kamu mengembalikan alasan kenapa kamu menandainya supaya blok tersebut bisa diaudit.

import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
            r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively

Gerbang lengkap ini menyusun bagian-bagiannya: mendeteksi injeksi pada input mentah, menyensor PII, dan hanya memanggil model (stubbed) saat input aman. Di produksi langkah model akan menjadi panggilan asli; di sini stub digunakan agar penilaian tetap deterministik. Poin yang dinilai adalah logika gate logic.

Buat dua fungsi. (1) detect_injection(text) -> sebuah dict {"is_injection": bool, "score": int, "patterns": [...]} di mana score adalah jumlah pola yang cocok. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: jika injeksi terdeteksi, atur blocked=True dan tambahkan "prompt_injection" ke reasons; selalu sensor PII ke safe_text dan, jika ada PII yang ditemukan, tambahkan alasan yang dimulai dengan "pii_redacted". Pesan yang bersih lewat tanpa perubahan dan tidak diblokir.

Giliranku

Buat detect_injection(text) yang mengembalikan {"is_injection", "score", "patterns"} (score = jumlah pola injeksi yang cocok) dan guard(user_text) yang mengembalikan {"safe_text", "blocked", "reasons"}. guard memblokir (menambah alasan "prompt_injection") saat injeksi terdeteksi, selalu menyensor PII menjadi safe_text (menambahkan alasan "pii_redacted..." saat ada yang ditemukan), dan membiarkan pesan bersih tetap utuh dan tidak diblokir. Kemiripan yang tidak berbahaya seperti "I previously asked about the weather" tidak boleh diblokir.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.