Woordsak-vektore
Voordat 'n model twee stukke teks kan vergelyk, moet die teks in nommers verander. Die oudste, eenvoudigste manier is die bag of words: kies 'n vaste lys van woorde (die vocabulary), en beskryf dan enige dokument deur hoeveel keer elke woorde uit die vocabulary daarin verskyn. Woordorde word weggelaat, daarom die woord "bag". Dit is ru en eenvoudig, maar dit is die fondament waarop TF-IDF, BM25, en selfs dense embeddings gebou word.
Sê die woordeskat is ["the", "cat", "sat", "dog", "ran"]. Die dokument "the cat sat" word die telvektor [1, 1, 1, 0, 0]: een the, een cat, een sat, nul dog, nul ran. Die dokument "the dog ran the dog" word [2, 0, 0, 2, 1].
Twee reëls wat saak maak in produksie:
- Die vektorlengte is altyd die vocabulary size, ongeag hoe lank die dokument is. Daardie vaste vorm laat jou toe om dokumente in 'n matrix te stap en lineêre algebra te doen.
- Woorde wat nie in die woordeskat is nie (out of vocabulary, of OOV) word bloot geïgnoreer. 'n Regte stelsel beperk die woordeskat, so onbekende woorde verdwyn.
In regte kode sou jy scikit-learn gebruik, wat presies dit doen en vir jou 'n sparse matrix gee:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columnsOm jy te verstaan wat daardie hulpbron onder die oppervlak doen, gaan jy die counter self bou.
Bou vectorize(doc, vocab): maak die dokument kleinletter, verdeel dit op witspasies, en gee 'n list van tellings terug, een per woordeskatwoord, in woordeskatorde. Ignore enige token wat nie in die woordeskat is nie. 'n Leë dokument gee alle nulle terug.
Skryf vectorize(doc, vocab) wat 'n dokumentstring in 'n bag-of-words tellys oor 'n vaste woordeskat verander. Maak die dokument kleinletter en skei dit op witspasies, tel hoeveel keer elke vocab woord verskyn, en gee die telles terug as 'n lys in vocab volgorde. Tokens buite die woordeskat word geïgnoreer; 'n leë dokument gee alle nulle terug. Die lengte van die teruggegee lys is altyd gelyk aan len(vocab).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.