Programma Les 136 van 246 · Module 12: Woorden als getallen (embeddings)
Module 12: Woorden als getallen (embeddings)

Tokens: het samenvoegen van de meest voorkomende paren

Waarom dit ertoe doetEchte modellen lezen geen karakters of hele woorden. Ze lezen tokens, stukjes ertussen, gemaakt door een simpele tellregel. Dat is waarom een model een veelvoorkomend woord ziet als één stuk en een zeldzaam woord als meerdere.

Byte pair encoding (BPE) begint met losse tekens en herhaalt één stap: zoek het paar aangrenzende symbolen dat het vaakst voorkomt in de tekst, en plak het overal samen tot één nieuw symbool.

Tiny voorbeeld

Woorden "low" (5 keer) en "lot" (2 keer). Paren: l o verschijnt 7 keer, o w 5, o t 2. Voeg l o samen: nu "lo w" en "lo t". Volgens de volgende stap verschijnt lo w 5 keer: voeg deze samen, en "low" is een enkel token.

Echte tokenisers voegen twee dingen toe die deze les weglaat. Ze beginnen bij bytes in plaats van karakters, dus elke tekst in elke taal, inclusief emoji's, kan worden geschreven met een start van 256 symbolen. En ze markeren waar woorden beginnen (GPT-2 plakt de spatie aan de voorkant van het volgende woord), zodat een stuk aan het begin van een woord en dezelfde letters binnen een woord verschillende tokens worden. Karakters per woord is de kosten van het lezen karakter voor karakter. Tokens per woord daalt naarmate merges worden toegevoegd: minder, grotere stappen voor het model, ten koste van een grotere vocabulaire.

Woorden en symbolen in deze les
token, BPE
een stuk tekst dat het model leest; byte pair encoding plakt het meest voorkomende naburige paar, keer op keer
Jij bent aan de beurt

Schrijf pair_counts(vocab) (hoe vaak elk naburig paar voorkomt, gewogen door het aantal woorden) en merge(vocab, pair) (plak dat paar overal). Raad my_guess, de tokens per woord na 200 merges (het begint bij ongeveer 4.6). De loop is voor je geschreven.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.