Programma Lezione 136 di 246 · Modulo 12: Parole come numeri (embedding)
Modulo 12: Parole come numeri (embedding)

Token: unire le coppie più comuni

Perché è importante I modelli veri non leggono caratteri né parole intere. Leggono token, pezzi intermedi, creati da una semplice regola di conteggio. È per questo che un modello "vede" una parola comune come un pezzo e una rara come diversi.

Il byte pair encoding (BPE) parte da caratteri singoli e ripete un passo: trova la coppia di simboli vicini che compare più spesso nel testo, e incollala in un nuovo simbolo ovunque.

Piccolo esempio

Le parole "low" (5 volte) e "lot" (2 volte). Coppie: l o compare 7 volte, o w 5, o t 2. Unisci l o: ora "lo w" e "lo t". Poi, lo w compare 5 volte: uniscila, e "low" è un unico token.

I tokenizer veri aggiungono due cose che questa lezione lascia fuori. Partono dai byte invece che dai caratteri, così qualsiasi testo in qualsiasi lingua, emoji comprese, si può scrivere partendo da 256 simboli. E segnano dove iniziano le parole (GPT-2 incolla lo spazio davanti alla parola successiva), così un pezzo all'inizio di una parola e le stesse lettere dentro una parola diventano token diversi. I caratteri per parola sono il costo di leggere carattere per carattere. I token per parola scendono man mano che si aggiungono unioni: passi meno numerosi e più grandi per il modello, al prezzo di un vocabolario più grande.

Parole e simboli di questa lezione
token, BPE
un pezzo di testo che il modello legge; il byte pair encoding incolla la coppia di vicini più comune, ancora e ancora
Tocca a te

Scrivi pair_counts(vocab) (quanto spesso compare ogni coppia di vicini, pesata per il conteggio della parola) e merge(vocab, pair) (incolla quella coppia ovunque). Indovina my_guess, i token per parola dopo 200 unioni (si parte da circa 4.6). Il ciclo è già scritto per te.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.