Kurrikulum Leson 136 van 246 · Module 12: Woorde as nommers (embeddings)
Module 12: Woorde as nommers (embeddings)

Tokens: die mees algemene pare saamvoeg

Waarom dit saak maakRegte modelle lees nie karakters of hele woorde nie. Hulle lees tokens, stukke tussenin, gemaak deur 'n eenvoudige telreël. Dit is waarom 'n model 'n algemene woord as een stuk sien en 'n skaars een as verskeie.

Byte pair encoding (BPE) begin by met enkel karakters en herhaal een stap: vind die paar naburige simbole wat die meeste keer in die teks voorkom, en plak dit bymekaar tot een nuwe simbool oral.

Klein voorbeeld

Woorde "low" (5 keer) en "lot" (2 keer). Paaie: l o verskyn 7 keer, o w 5, o t 2. Voeg l o saam: nou "lo w" en "lo t". Volgende, lo w verskyn 5 keer: voeg dit saam, en "low" is 'n enkele token.

Reg tokenisers voeg twee dinge by wat hierdie les uitsluit. Hulle begin by bytes eerder as karakters, so enige teks in enige taal, insluitend emoji's, kan met 'n 256-simbool begin. En hulle merk waar woorde begin (GPT-2 plak die spasie aan die voorkant van die volgende woord), so 'n stuk aan die begin van 'n woord en dieselfde letters binne 'n woord word verskillende tokens. Karakters per woord is die koste van lees karakter vir karakter. Tokens per woord daal soos merges bygevoeg word: minder, groter stappe vir die model, teen die prys van 'n groter woordeskat.

Woorde en simbole in hierdie les
token, BPE
'n stuk teks wat die model lees; byte pair encoding plak die algemeenste naburige paar, oor en oor
Jou beurt

Skryf pair_counts(vocab) (hoe gereeld elke naburige paar verskyn, gewig volgens woordtelling) en merge(vocab, pair) (plak daardie paar oral). Raai my_guess, die tokens per woord na 200 merges (dit begin by ongeveer 4.6). Die loop is vir jou geskryf.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.