Indeks Knowledge Base
Selamat datang di proyek andalan portofoliomu: sebuah Copilot Layanan Pelanggan. Selama empat pelajaran kamu akan membangun dan mengevaluasi asisten dukungan retrieval-augmented (RAG) dari awal sampai akhir -- persis sistem di balik widget chat yang menjawab "bagaimana cara mereset kata sandi saya?" dari artikel bantuan sebuah perusahaan, bukan dengan menebak. Saat kamu selesai, baris CV-nya menulis dirinya sendiri: membangun dan mengevaluasi pipeline RAG dan eval harness.
Sistem RAG punya satu aturan emas: model hanya menjawab dari dokumen yang benar-benar kamu ambil. Jadi sebelum model bahasa apa pun terlibat, kamu butuh pengambilan yang cepat dan akurat. Itulah pelajaran ini. Perekrut yang membaca kodemu di sini memeriksa satu hal: bisakah kamu mengubah tumpukan teks menjadi sesuatu yang bisa dicari dengan baik? TF-IDF adalah metode leksikal: ia mencocokkan kata yang dimiliki bersama oleh query dan artikel, diberi bobot menurut seberapa khas setiap kata. Ia tidak tahu bahwa "refund" dan "money back" berarti sama; itulah yang ditambahkan embedding (pelajaran berikutnya). Pencarian leksikal tetap menjadi patokan cepat dan murah yang harus dikalahkan setiap sistem pengambilan.
Kamu akan membangun pencari TF-IDF kecil. Idenya dalam satu tarikan napas: wakili setiap artikel sebagai vektor bobot kata, di mana sebuah kata dihitung lebih berat kalau sering muncul di artikel ini (term frequency) tetapi jarang di semua artikel (inverse document frequency). Bandingkan query dengan setiap artikel memakai kemiripan kosinus dan kembalikan yang paling dekat.
Tiga langkah membuatnya berjalan:
- Tokenisasi -- kecilkan huruf, pisahkan menjadi kata, dan buang kata henti kecil seperti "the" dan "is" yang cocok dengan segalanya dan tidak berarti apa-apa.
re.findall(r"[a-z0-9]+", text.lower())lalu saring himpunan kata hentinya. - Beri bobot -- untuk setiap artikel, term frequency dikali IDF, lalu normalkan vektornya ke panjang satu supaya artikel panjang dan pendek dibandingkan dengan adil.
- Beri skor -- kemiripan kosinus antara vektor query dan setiap vektor artikel. Dengan vektor satuan itu hanyalah hasil kali titik. Urutkan menurun.
Bangun dua fungsi atas daftar artikel:
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsbuild_index(docs) mengembalikan struktur apa pun yang kamu butuhkan (dict sudah cukup). retrieve mengembalikan daftar indeks bilangan bulat ke dalam docs, kecocokan terbaik lebih dulu, paling banyak k buah. Kamu boleh memakai Python biasa dan math, atau numpy, atau TfidfVectorizer dari scikit-learn -- apa pun yang kamu pilih, kontraknya sama. Biarkan DOCS didefinisikan di tingkat modul supaya penilai bisa membangun ulang indeksmu. Tekan Run untuk melihat beberapa pertanyaan dukungan diarahkan ke artikel yang tepat.
Buat retriever TF-IDF di atas basis pengetahuan pendukung 8 artikel. Simpan DOCS di level modul. Tulis build_index(docs) (tokenize dengan penghapusan stopword, beri bobot istilah dengan tf*idf, normalisasi ke unit vectors) dan retrieve(query, index, k) yang mengembalikan indeks dari k dokumen terdekat berdasarkan cosine similarity, urutkan dari yang terbaik, maksimal k. Python biasa, numpy, atau scikit-learn semua bisa dipakai.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.