Pelindung Output & Agregasi Trace
Balasan model tidak bisa dipercaya sampai kamu memeriksanya. Dua penjaga keluaran sudah mencukupi sebagian besar kebutuhan. Penjaga daftar izin mengharuskan keluarannya persis salah satu dari himpunan yang diketahui, dan begitulah kamu membuat pengklasifikasi bisa diandalkan: kalau model seharusnya menjawab positive, negative, atau neutral, apa pun selain itu ditolak. Penjaga daftar larangan menandai keluaran apa pun yang berisi istilah terlarang (rahasia yang bocor, kata hinaan, nama pesaing), apa pun teks di sekitarnya.
Sistem produksi juga butuh keterlacakan: setiap panggilan dicatat dengan input, output, jumlah token, latensi, dan biaya, supaya kamu bisa menjawab "berapa biayanya dan seberapa lambat?" sesudahnya. Kamu merangkum catatan itu menjadi ringkasan: total biaya, dan persentil latensi. Latensi p95 (nilai yang di bawahnya 95% panggilan selesai) adalah angka yang benar-benar dipantau engineer jaga, karena rata-rata menyembunyikan ekor yang lambat.
import numpy as np
p95 = np.percentile(latencies, 95) # the slow-tail number, not the meanBuat empat fungsi. (1) validate_output(text, allowed_labels) -> True hanya kalau text.strip() ada di allowed_labels. (2) contains_banned(text, banned) -> True kalau istilah terlarang apa pun muncul di text tanpa memedulikan huruf besar kecil. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> dict dengan persis lima kunci itu. (4) aggregate_traces(traces) -> buat pandas.DataFrame dari dict trace dan kembalikan dict dengan n, total_cost (dibulatkan ke 6 desimal), p50_latency, dan p95_latency yang dihitung dengan numpy.percentile.
Buat validate_output(text, allowed_labels) (True hanya jika text.strip() adalah label yang diizinkan), contains_banned(text, banned) (True jika ada istilah terlarang yang muncul, tidak peka huruf besar), build_trace(input_text, output_text, tokens, latency_ms, cost) (dict dengan lima kunci tersebut), dan aggregate_traces(traces) (pandas DataFrame yang diringkas ke {n, total_cost (round 6dp), p50_latency, p95_latency} melalui numpy.percentile). Label yang diizinkan harus lolos sementara yang tidak diizinkan harus terblokir, dan dua daftar terlarang yang berbeda harus memberikan hasil yang berbeda.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.