Ce qu'un modèle a appris sur les lettres
Pourquoi c'est important Personne ne dit à un modèle de langage que a et e sont toutes deux des voyelles. Si ses embeddings les mettent quand même près l'une de l'autre, le modèle l'a découvert à partir du seul texte. C'est le premier aperçu d'un « sens » appris à partir des données.
Pour comparer deux embeddings, utilise la similarité cosinus : le produit scalaire divisé par les deux longueurs. Elle vaut 1 quand deux vecteurs pointent dans le même sens, 0 quand ils n'ont pas de rapport (à angle droit), et moins 1 quand ils pointent dans des sens opposés. Elle ignore la longueur, qui reflète surtout la fréquence d'un symbole.
Tu vas regarder à l'intérieur du minuscule GPT enregistré du cours (le module 13 le construit). Il n'a lu que le texte des leçons de ce cours, un caractère à la fois, avec chaque caractère sous forme d'une ligne de 64 nombres.
Prédis d'abord : quel groupe de paires de caractères sera le plus similaire en moyenne : deux voyelles, une voyelle et une consonne, ou deux chiffres ?
Mots et symboles de cette leçon
- embedding
- la ligne de nombres appris qui représente un symbole
- similarité cosinus
- le produit scalaire divisé par les deux longueurs : 1 même direction, 0 sans rapport, -1 opposés
Affecte à my_prediction "vowels", "mixed" ou "digits". Écris cosine(a, b) et nearest(ch, k) (les k autres caractères qui ont le plus grand cosinus avec ch, le meilleur d'abord). Puis remplis group avec le cosinus moyen sur toutes les paires de caractères différents dans chaque groupe.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.