Programme Leçon 135 sur 246 · Module 12 : Les mots comme nombres (embeddings)
Module 12 : Les mots comme nombres (embeddings)

Ce qu'un modèle a appris sur les lettres

Pourquoi c'est important Personne ne dit à un modèle de langage que a et e sont toutes deux des voyelles. Si ses embeddings les mettent quand même près l'une de l'autre, le modèle l'a découvert à partir du seul texte. C'est le premier aperçu d'un « sens » appris à partir des données.

Pour comparer deux embeddings, utilise la similarité cosinus : le produit scalaire divisé par les deux longueurs. Elle vaut 1 quand deux vecteurs pointent dans le même sens, 0 quand ils n'ont pas de rapport (à angle droit), et moins 1 quand ils pointent dans des sens opposés. Elle ignore la longueur, qui reflète surtout la fréquence d'un symbole.

Tu vas regarder à l'intérieur du minuscule GPT enregistré du cours (le module 13 le construit). Il n'a lu que le texte des leçons de ce cours, un caractère à la fois, avec chaque caractère sous forme d'une ligne de 64 nombres.

Prédis d'abord : quel groupe de paires de caractères sera le plus similaire en moyenne : deux voyelles, une voyelle et une consonne, ou deux chiffres ?

Mots et symboles de cette leçon
embedding
la ligne de nombres appris qui représente un symbole
similarité cosinus
le produit scalaire divisé par les deux longueurs : 1 même direction, 0 sans rapport, -1 opposés
À ton tour

Affecte à my_prediction "vowels", "mixed" ou "digits". Écris cosine(a, b) et nearest(ch, k) (les k autres caractères qui ont le plus grand cosinus avec ch, le meilleur d'abord). Puis remplis group avec le cosinus moyen sur toutes les paires de caractères différents dans chaque groupe.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.