Bag-of-Words Vectoren
Voordat een model twee stukken tekst kan vergelijken, moet de tekst worden omgezet in getallen. De oudste, simpelste manier is de bag of words: kies een vaste lijst van woorden (de vocabulary), en beschrijf dan elk document door hoe vaak elk woord uit de vocabulary erin voorkomt. De volgorde van woorden wordt weggegooid, vandaar het woord "bag". Het is grof, maar het is de basis waarop TF-IDF, BM25 en zelfs dense embeddings allemaal zijn gebouwd.
Zeg dat het vocabulaire ["the", "cat", "sat", "dog", "ran"] is. Het document "the cat sat" wordt de count vector [1, 1, 1, 0, 0]: één the, één cat, één sat, nul dog, nul ran. Het document "the dog ran the dog" wordt [2, 0, 0, 2, 1].
Twee regels die ertoe doen in productie:
- De vectorlengte is altijd de vocabulairegrootte, ongeacht hoe lang het document is. Die vaste vorm zorgt ervoor dat je documenten in een matrix kunt stapelen en lineaire algebra kunt uitvoeren.
- Woorden die niet in de woordenschat staan (out of vocabulary, of OOV) worden simpelweg genegeerd. Een echt systeem beperkt de woordenschat, dus onbekende woorden verdwijnen.
In echte code zou je scikit-learn gebruiken, wat precies dit doet en je een sparse matrix geeft:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columnsOm te begrijpen wat dat hulpmiddel onder de motorkap doet, bouw je de counter zelf.
Build vectorize(doc, vocab): zet het document om naar kleine letters, splits het op witregels en geef een list van aantallen terug, één per woord uit de woordenschat, in de volgorde van de woordenschat. Negeer elk token dat niet in de woordenschat staat. Een leeg document geeft alleen nullen terug.
Schrijf vectorize(doc, vocab) dat een document string omzet naar een bag-of-words count lijst over een vast vocabulaire. Zet het document in kleine letters en splits het op basis van witregels, tel hoe vaak elk vocab woord voorkomt, en geef de counts terug als een lijst in vocab volgorde. Tokens buiten het vocabulaire worden genegeerd; een leeg document geeft alle nullen terug. De lengte van de teruggegeven lijst is altijd gelijk aan len(vocab).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.