Vektor Bag-of-Words
Sebelum sebuah model bisa membandingkan dua potongan teks, teks tersebut harus menjadi angka. Cara tertua dan paling sederhana adalah bag of words: pilih daftar kata yang tetap (vocabulary), lalu deskripsikan dokumen apa pun berdasarkan berapa kali setiap kata dalam vocabulary muncul di dalamnya. Urutan kata dibuang, itulah sebabnya ada kata "bag". Ini kasar, tapi ini adalah fondasi yang dibangun oleh TF-IDF, BM25, dan bahkan dense embeddings.
Katakan kosakatanya adalah ["the", "cat", "sat", "dog", "ran"]. Dokumen "the cat sat" menjadi vektor hitungan [1, 1, 1, 0, 0]: satu the, satu cat, satu sat, nol dog, nol ran. Dokumen "the dog ran the dog" menjadi [2, 0, 0, 2, 1].
Dua aturan yang penting di produksi:
- Panjang vektor selalu sama dengan ukuran kosakata, tidak peduli seberapa panjang dokumennya. Bentuk tetap itulah yang memungkinkan kamu menumpuk dokumen ke dalam matriks dan melakukan aljabar linier.
- Kata yang tidak ada dalam kosakata (out of vocabulary, atau OOV) hanya diabaikan. Sistem yang nyata membatasi kosakata, jadi kata yang tidak terlihat akan hilang.
Dalam kode asli kamu akan menggunakan scikit-learn, yang melakukan hal ini dan memberikan kamu sparse matrix:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columnsUntuk memahami apa yang dilakukan alat itu di balik layar, kamu akan membangun counter itu sendiri.
Build vectorize(doc, vocab): ubah dokumen jadi huruf kecil, pisahkan berdasarkan spasi, dan kembalikan list jumlahnya, satu untuk setiap kata kosakata, sesuai urutan kosakata. Abaikan token yang tidak ada di kosakata. Dokumen kosong mengembalikan semua nol.
Tulis vectorize(doc, vocab) yang mengubah string dokumen menjadi daftar hitungan bag-of-words berdasarkan kosakata tetap. Ubah ke huruf kecil dan pisahkan dokumen berdasarkan spasi, hitung berapa kali setiap kata vocab muncul, dan kembalikan hitungannya sebagai daftar dalam urutan vocab. Token di luar kosakata diabaikan; dokumen kosong mengembalikan semua nol. Panjang daftar yang dikembalikan selalu sama dengan len(vocab).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.