Pipeline Guardrail + Trace
Ini bagian terakhir, dan inilah yang membuatmu bisa menaruh gateway di depan pengguna sungguhan: keamanan dan observabilitas. Sebelum teks apa pun sampai ke model, kamu melewatkannya melalui pipeline penjaga yang memblokir percobaan injeksi prompt dan menghapus data pribadi. Dan setelah setiap panggilan, kamu mencatat event trace, lalu merangkum event-event itu menjadi ringkasan yang benar-benar dilihat engineer jaga. Bersama-sama, dua ide ini, "guardrail" dan "pencatatan biaya," melengkapi baris CV yang kamu mulai di awal modul ini.
Penjaganya. Tulis guard(request) yang memeriksa teks permintaan dan mengembalikan dict putusan seperti {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]}. Dua pemeriksaan:
- Blokir injeksi: kalau teksnya cocok dengan pola serangan yang dikenal (pikirkan "ignore all previous instructions," "reveal the system prompt," "you are now..."), tolak langsung dengan
allowed=False. Daftar kecil regex yang tidak peduli huruf besar kecil sudah cukup di sini. - Sensor data pribadi: selain itu, hapus email dan nomor telepon dari teks, ganti dengan placeholder
[EMAIL]dan[PHONE], dan kembalikan teks yang sudah bersih denganallowed=Truebeserta daftar jenis yang kamu temukan.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)
def guard(request):
text = request["text"]
if INJECTION.search(text):
return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
clean, kinds = redact(text)
return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}Trace-nya. Setiap permintaan yang dilayani meninggalkan jejak: handler mana yang berjalan, apakah ia diblokir, dan berapa biayanya. Tulis aggregate_trace(events) atas daftar dict dengan kunci handler, blocked, dan cost, yang mengembalikan ringkasan berisi total calls, berapa yang menjadi blocks, total_cost dari panggilan yang benar-benar diizinkan, dan rincian by_handler berisi panggilan dan biaya per handler. Ini pekerjaan yang pas untuk groupby pandas:
df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])Permintaan yang diblokir tidak berbiaya dan tidak boleh menggelembungkan total_cost, jadi jumlahkan biaya hanya pada baris yang diizinkan. Tangani kasus trace kosong supaya gateway baru melaporkan nol yang bersih alih-alih crash. Tekan Run untuk memblokir injeksi, menyensor permintaan yang penuh detail kontak, meloloskan yang aman, dan mencetak trace yang sudah dirangkum.
Tulis guard(request) (request punya kunci "text") yang mengembalikan dict verdict. Blokir percobaan prompt-injection (daftar kecil regex yang tidak peka huruf besar) dengan allowed=False dan reason="injection"; jika tidak, hapus email dan nomor telepon ke placeholder [EMAIL]/[PHONE] dan kembalikan allowed=True, text yang sudah bersih, dan daftar jenis yang ditemukan. Lalu tulis aggregate_trace(events) di atas dict dengan handler, blocked, cost mengembalikan {"calls", "blocks", "total_cost", "by_handler"}, di mana total_cost menjumlahkan hanya panggilan yang diizinkan (tidak diblokir) dan by_handler memecah panggilan/biaya per handler.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.