Programme Leçon 136 sur 246 · Module 12 : Les mots comme nombres (embeddings)
Module 12 : Les mots comme nombres (embeddings)

Les tokens : fusionner les paires les plus courantes

Pourquoi c'est important Les vrais modèles ne lisent ni des caractères ni des mots entiers. Ils lisent des tokens, des morceaux intermédiaires, fabriqués par une simple règle de comptage. C'est pourquoi un modèle « voit » un mot courant comme un seul morceau et un mot rare comme plusieurs.

Le byte pair encoding (BPE) part des caractères seuls et répète une étape : trouver la paire de symboles voisins qui apparaît le plus souvent dans le texte, et la coller en un nouveau symbole partout.

Un petit exemple

Les mots « low » (5 fois) et « lot » (2 fois). Paires : l o apparaît 7 fois, o w 5, o t 2. Fusionne l o : maintenant « lo w » et « lo t ». Ensuite, lo w apparaît 5 fois : fusionne-la, et « low » devient un seul token.

Les vrais tokeniseurs ajoutent deux choses que cette leçon laisse de côté. Ils partent des octets plutôt que des caractères, donc n'importe quel texte dans n'importe quelle langue, emoji compris, peut s'écrire avec un départ de 256 symboles. Et ils marquent où les mots commencent (GPT-2 colle l'espace au début du mot suivant), donc un morceau au début d'un mot et les mêmes lettres à l'intérieur d'un mot deviennent des tokens différents. Les caractères par mot, c'est le coût de la lecture caractère par caractère. Les tokens par mot baissent à mesure qu'on ajoute des fusions : des pas moins nombreux et plus grands pour le modèle, au prix d'un vocabulaire plus grand.

Mots et symboles de cette leçon
token, BPE
un morceau de texte que lit le modèle ; le byte pair encoding colle la paire voisine la plus courante, encore et encore
À ton tour

Écris pair_counts(vocab) (combien de fois chaque paire voisine apparaît, pondéré par le nombre d'occurrences du mot) et merge(vocab, pair) (colle cette paire partout). Devine my_guess, les tokens par mot après 200 fusions (ça commence à environ 4.6). La boucle est écrite pour toi.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.