Silabus Pelajaran 197 dari 250 · ML di Sekitar LLM
ML di Sekitar LLM

Perutean Embedding-ke-Prototipe

A classifier butuh data pelatihan berlabel. Kadang kamu tidak punya data apa pun -> kamu cuma punya segenggam example untuk setiap niat. Router termurah adalah nearest-prototype: wakili setiap niat dengan satu vektor (prototype-nya, seringkali rata-rata embedding dari beberapa contoh), masukkan query yang masuk, dan arahkan ke prototype mana pun yang paling tepat dituju.

"Points most directly at" berarti cosine similarity: kosinus dari sudut antara dua vektor, tanpa mempedulikan panjangnya. Ini adalah ukuran yang tepat untuk teks karena dokumen panjang dan pendek dengan topik yang sama harus tetap cocok.

cosine(a, b) = (a . b) / (|a| |b|)
Nilai

yang dekat dengan 1.0 berarti vektor mengarah ke arah yang sama (maksud yang sama); dekat dengan 0.0 berarti tidak terkait. Router memilih prototipe dengan kosinus tertinggi, dan skor itu berfungsi ganda sebagai confidence yang bisa kamu beri ambang batas nanti.

Bingkai jujur:di produksi vektor tersebut berasal dari model embedding yang sudah dilatih (panggilan API, atau sentence-transformer). Kita tidak bisa memuatnya di sini -> tidak ada file bobot model dan tidak ada GPU di browser. Jadi di pelajaran ini vektornya diberikan kepadamu sebagai array numpy biasa. Kamu sedang membangun geometri routing, yang identik baik angka tersebut berasal dari embedder asli atau dari fixture. Embedding asli hanya mengisi angka yang lebih baik; logika cosine-dan-argmax adalah bagian yang kamu kirim.

Ties harus deterministik. Jika dua prototype berjarak sama persis, memilih "mana saja yang muncul lebih dulu di dict" adalah bug tersembunyi karena urutan dict bisa berubah. Pecahkan ties dengan memilih intent yang namanya urutan pertama secara alfabetis, supaya ties yang sama selalu selesai dengan cara yang sama.

Buat dua fungsi. cosine(a, b) mengembalikan cosine similarity dari dua vektor dan aman dari nol (vektor dengan panjang nol mengembalikan 0.0, bukan NaN). route_by_prototype(query_vec, prototypes) mengambil vektor query dan sebuah dict {intent_name: prototype_vector} lalu mengembalikan tuple (best_intent, best_score) -> prototipe terdekat dan cosine-nya, dengan urutan abjad untuk hasil seri. Tekan Run untuk menjalankan beberapa query dan lihat tingkat kepercayaan dari masing-masing hasil.

Giliranku

Tulis cosine(a, b) = a.b / (|a||b|), mengembalikan 0.0 jika salah satu vektor punya panjang nol (bukan NaN). Lalu tulis route_by_prototype(query_vec, prototypes) di mana prototypes adalah dict {name: vector}; kembalikan tuple (best_name, best_score) untuk cosine tertinggi, jika ada nilai yang sama persis, urutkan berdasarkan nama alfabet pertama. Biarkan PROTOTYPES milik starter tetap seperti apa adanya: pengecekan akan membacanya.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.