Programme Leçon 139 sur 246 · Module 12 : Les mots comme nombres (embeddings)
Module 12 : Les mots comme nombres (embeddings)

Les vecteurs copient leurs données, biais compris

Pourquoi c'est important Les embeddings apprennent tous les motifs que contient le texte, y compris ceux dont personne ne veut. Des vecteurs de mots entraînés sur de vraies actualités mettent certains métiers plus près de « she » et d'autres plus près de « he ». Tu peux le mesurer, et tu devrais.

Fabrique une direction du genre à partir de paires qui ne diffèrent que par le genre : queen moins king, woman moins man, princess moins prince, girl moins boy, additionnées et ramenées à une longueur de 1. La position d'un mot le long d'elle est son vecteur (unitaire) scalaire la direction : positif penche vers « she », négatif penche vers « he ».

Le monde jouet peut ajouter un biais : avec un biais de 0.4, les phrases sur nurse disent « she » 90 % du temps et celles sur engineer disent « he » 90 % du temps. Doctor et teacher restent à 50/50. Rien d'autre ne change.

Le retirer, et le piège

Tu peux soustraire la composante de chaque métier le long de la direction, ce qui met sa position à exactement 0. Dans ce monde jouet, ça marche presque complètement : mesurés après le retrait, nurse et engineer sont à peu près aussi proches de « she » que de « he » (cosinus de 0.114 et 0.118 dans un sens comme dans l'autre). C'est parce qu'ici le biais vit dans un seul mot, le pronom. Sur des vecteurs de mots entraînés sur du vrai texte, des chercheurs ont trouvé l'inverse : le biais est réparti sur des milliers de mots qu'une seule direction ne peut pas capturer, donc après le retrait, les voisins d'un métier le trahissent encore. Une règle qui affiche zéro n'est donc pas la preuve que le biais a disparu, et la correction honnête commence par les données.

Mots et symboles de cette leçon
embedding
la ligne de nombres appris qui représente un symbole
fenêtre
combien de mots de chaque côté comptent comme la compagnie d'un mot
PPMI
combien plus souvent deux mots se rencontrent que le hasard ne le donnerait, avec les négatifs mis à 0
monde jouet
un texte inventé avec une structure plantée, pour que les bonnes réponses soient connues
biais
un motif déséquilibré dans les données que les vecteurs copient
À ton tour

Écris gender_direction(X) et position(X, word, g). Les deux travaillent sur des vecteurs unitaires : divise d'abord le vecteur de chaque mot par sa longueur, puis prends les quatre différences (queen moins king, woman moins man, princess moins prince, girl moins boy), additionne-les et ramène la somme à une longueur de 1. Une position est le vecteur unitaire du mot scalaire g. Remplis pos : du biais (0.0 et 0.4) vers un dict des positions des quatre métiers, avec des vecteurs de comptes et toute la phrase comme fenêtre. Puis écris remove(x, g) qui retire la composante le long de g.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.