Les vecteurs copient leurs données, biais compris
Pourquoi c'est important Les embeddings apprennent tous les motifs que contient le texte, y compris ceux dont personne ne veut. Des vecteurs de mots entraînés sur de vraies actualités mettent certains métiers plus près de « she » et d'autres plus près de « he ». Tu peux le mesurer, et tu devrais.
Fabrique une direction du genre à partir de paires qui ne diffèrent que par le genre : queen moins king, woman moins man, princess moins prince, girl moins boy, additionnées et ramenées à une longueur de 1. La position d'un mot le long d'elle est son vecteur (unitaire) scalaire la direction : positif penche vers « she », négatif penche vers « he ».
Le monde jouet peut ajouter un biais : avec un biais de 0.4, les phrases sur nurse disent « she » 90 % du temps et celles sur engineer disent « he » 90 % du temps. Doctor et teacher restent à 50/50. Rien d'autre ne change.
Le retirer, et le piège
Tu peux soustraire la composante de chaque métier le long de la direction, ce qui met sa position à exactement 0. Dans ce monde jouet, ça marche presque complètement : mesurés après le retrait, nurse et engineer sont à peu près aussi proches de « she » que de « he » (cosinus de 0.114 et 0.118 dans un sens comme dans l'autre). C'est parce qu'ici le biais vit dans un seul mot, le pronom. Sur des vecteurs de mots entraînés sur du vrai texte, des chercheurs ont trouvé l'inverse : le biais est réparti sur des milliers de mots qu'une seule direction ne peut pas capturer, donc après le retrait, les voisins d'un métier le trahissent encore. Une règle qui affiche zéro n'est donc pas la preuve que le biais a disparu, et la correction honnête commence par les données.
Mots et symboles de cette leçon
- embedding
- la ligne de nombres appris qui représente un symbole
- fenêtre
- combien de mots de chaque côté comptent comme la compagnie d'un mot
- PPMI
- combien plus souvent deux mots se rencontrent que le hasard ne le donnerait, avec les négatifs mis à 0
- monde jouet
- un texte inventé avec une structure plantée, pour que les bonnes réponses soient connues
- biais
- un motif déséquilibré dans les données que les vecteurs copient
Écris gender_direction(X) et position(X, word, g). Les deux travaillent sur des vecteurs unitaires : divise d'abord le vecteur de chaque mot par sa longueur, puis prends les quatre différences (queen moins king, woman moins man, princess moins prince, girl moins boy), additionne-les et ramène la somme à une longueur de 1. Une position est le vecteur unitaire du mot scalaire g. Remplis pos : du biais (0.0 et 0.4) vers un dict des positions des quatre métiers, avec des vecteurs de comptes et toute la phrase comme fenêtre. Puis écris remove(x, g) qui retire la composante le long de g.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.