Tokens: die mees algemene pare saamvoeg
Waarom dit saak maakRegte modelle lees nie karakters of hele woorde nie. Hulle lees tokens, stukke tussenin, gemaak deur 'n eenvoudige telreël. Dit is waarom 'n model 'n algemene woord as een stuk sien en 'n skaars een as verskeie.
Byte pair encoding (BPE) begin by met enkel karakters en herhaal een stap: vind die paar naburige simbole wat die meeste keer in die teks voorkom, en plak dit bymekaar tot een nuwe simbool oral.
Klein voorbeeld
Woorde "low" (5 keer) en "lot" (2 keer). Paaie: l o verskyn 7 keer, o w 5, o t 2. Voeg l o saam: nou "lo w" en "lo t". Volgende, lo w verskyn 5 keer: voeg dit saam, en "low" is 'n enkele token.
Reg tokenisers voeg twee dinge by wat hierdie les uitsluit. Hulle begin by bytes eerder as karakters, so enige teks in enige taal, insluitend emoji's, kan met 'n 256-simbool begin. En hulle merk waar woorde begin (GPT-2 plak die spasie aan die voorkant van die volgende woord), so 'n stuk aan die begin van 'n woord en dieselfde letters binne 'n woord word verskillende tokens. Karakters per woord is die koste van lees karakter vir karakter. Tokens per woord daal soos merges bygevoeg word: minder, groter stappe vir die model, teen die prys van 'n groter woordeskat.
Woorde en simbole in hierdie les
- token, BPE
- 'n stuk teks wat die model lees; byte pair encoding plak die algemeenste naburige paar, oor en oor
Skryf pair_counts(vocab) (hoe gereeld elke naburige paar verskyn, gewig volgens woordtelling) en merge(vocab, pair) (plak daardie paar oral). Raai my_guess, die tokens per woord na 200 merges (dit begin by ongeveer 4.6). Die loop is vir jou geskryf.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.