Tokens: Zusammenführung der häufigsten Paare
Warum das wichtig istEchte Modelle lesen keine Zeichen oder ganze Wörter. Sie lesen tokens, Teile dazwischen, die durch eine einfache Zählregel entstehen. Das ist der Grund, warum ein Modell ein häufiges Wort als ein Teil und ein seltenes Wort als mehrere Teile "sieht".
Byte pair encoding (BPE) beginnt mit einzelnen Zeichen und wiederholt einen Schritt: finde das Paar benachbarter Symbole, das am häufigsten im Text vorkommt, und füge es überall zu einem neuen Symbol zusammen.
Tiny Beispiel
Wörter "low" (5 Mal) und "lot" (2 Mal). Paare: l o erscheint 7 Mal, o w 5, o t 2. Merge l o: jetzt "lo w" und "lo t". Als Nächstes erscheint lo w 5 Mal: merge es, und "low" ist ein einzelner Token.
Echte Tokenizer fügen zwei Dinge hinzu, die diese Lektion weglässt. Sie beginnen bei Bytes statt bei Zeichen, sodass jeder Text in jeder Sprache, inklusive Emojis, mit einem 256-Symbol-Start geschrieben werden kann. Und sie markieren, wo Wörter beginnen (GPT-2 klebt das Leerzeichen an den Anfang des nächsten Wortes), sodass ein Teil am Anfang eines Wortes und die gleichen Buchstaben innerhalb eines Wortes zu unterschiedlichen Tokens werden. Zeichen pro Wort ist der Preis für das Lesen Zeichen für Zeichen. Tokens pro Wort sinkt, wenn Merges hinzugefügt werden: weniger, größere Schritte für das Modell, zum Preis eines größeren Vokabulars.
Wörter und Symbole in dieser Lektion
- token, BPE
- ein Textstück, das das Modell liest; byte pair encoding verbindet das häufigste benachbarte Paar, immer und immer wieder
Schreibe pair_counts(vocab) (wie oft jedes benachbarte Paar erscheint, gewichtet nach Wortanzahl) und merge(vocab, pair) (füge dieses Paar überall ein). Schätze my_guess, die Token pro Wort nach 200 Verschmelzungen (es beginnt bei etwa 4.6). Die Schleife ist für dich geschrieben.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.