Silabus Pelajaran 225 dari 250 · Proyek: Production AI Gateway
Proyek: Production AI Gateway

Klasifikasi Niat dengan Abstain

Selamat datang di proyek capstone kamu. Selama empat pelajaran, kamu akan merilis lapisan yang berada di antara pengguna dan model: sebuah gateway AI yang mengklasifikasikan apa yang diinginkan sebuah permintaan, mengarahkannya ke handler yang tepat, menyimpan cache jawaban, menjaga dari penyalahgunaan, dan menghitung setiap dolar. Ini adalah infrastruktur yang tidak mencolok yang mengubah demo cerdas menjadi sesuatu yang benar-benar bisa dijalankan perusahaan, dan inilah yang dimaksud manajer perekrutan saat baris resume berbunyi "built an AI gateway: classify, route, cache, guardrail, cost-account."

Catatan jujur soal scope: kamu sedang membangun logic lapisan aplikasi dari sebuah gateway (classify, route, semantic-cache, guardrail, cost-account). Gateway yang benar-benar kamu jalankan di produksi juga butuh layanan yang berjalan untuk menampungnya, autentikasi, real distributed rate-limiting, dan deployment, yang mana semuanya di luar capstone di dalam browser ini.

Hentian pertama: pintu depan. Setiap permintaan yang masuk adalah gumpalan teks, dan sebelum kamu bisa melakukan hal pintar dengannya kamu perlu tahu apa itu. Apakah ini pertanyaan cuaca? Masalah akun? Keluhan tagihan? Kamu akan membangun intent classifier yang belajar dari beberapa contoh berlabel dan menandai setiap permintaan baru. Perbedaan antara mainan dan classifier asli: ia harus tahu kapan ia tidak tahu. Model yang dengan percaya diri melabeli omong kosong lebih buruk daripada tidak berguna di tahap selanjutnya, jadi milikmu akan abstain dan mengembalikan "unknown" saat ia tidak yakin.

Kamu akan menulis dua fungsi:

  • train_intent(texts, labels) -> pasang TfidfVectorizer untuk mengubah teks jadi vektor, lalu LogisticRegression(random_state=0) di atasnya. Kembalikan bundle apa saja (dict boleh) yang classify butuhkan untuk membuat prediksi. Beri seed pada model supaya semua orang dapat hasil yang identik.
  • classify(model, text) -> kembalikan tuple (label, confidence). Ambil probabilitas kelas dengan predict_proba, ambil yang teratas, dan jika konfidensinya di bawah ambang batas (sekitar 0.5), kembalikan ("unknown", confidence) sebagai gantinya.

Trik untuk menangkap input yang benar-benar di luar distribusi itu murah dan kuat. Saat TfidfVectorizer.transform melihat teks dengan none dari kosakata pelatihan, baris yang dihasilkan semuanya nol (.nnz nya adalah 0). Itu sinyalmu bahwa model tidak punya apa-apa untuk diproses, jadi segera berhenti:

X = vec.transform([text])
if X.nnz == 0:
    return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)

Catatan nyata tentang model: pada set pelatihan kecil, regularisasi default membuat setiap probabilitas berada di dekat peluang acak, jadi pertanyaan sah tidak pernah melewati ambang batas. Melonggarkan regularisasi dengan C=10.0 (dan menaikkan max_iter agar konvergen) mempertajam model sehingga parafrase asli mendapat skor yakin sementara sampah tetap abstain. Tekan Run untuk melatih pada beberapa pertanyaan pendukung berlabel dan lihat parafrase diklasifikasikan sementara omong kosong mundur.

Giliranku

Tulis train_intent(texts, labels) menggunakan TfidfVectorizer + LogisticRegression(random_state=0) (longgarkan dengan C=10.0 dan naikkan max_iter agar data kecil konvergen), kembalikan apa pun bundel classify butuhkan. Lalu tulis classify(model, text) mengembalikan (label, confidence): ambil kelas predict_proba teratas, berhenti ke ("unknown", conf) di bawah ambang ~0.5, dan berhenti segera saat baris yang ditransformasi semuanya nol (X.nnz == 0) sehingga input di luar distribusi atau kosong tidak bisa dilabeli.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.