Vektoren kopieren ihre Daten, inklusive Verzerrungen.
Warum das wichtig ist Embeddings lernen alle Muster, die der Text enthält, auch solche, die niemand möchte. An echten Nachrichten trainierte Wortvektoren rücken einige Jobs näher an "she" und andere näher an "he". Du kannst es messen, und du solltest es tun.
Erstelle eine gender direction aus Paaren, die sich nur im Geschlecht unterscheiden: queen minus king, woman minus man, princess minus prince, girl minus boy, addiert und auf die Länge 1 skaliert. Die Position eines Wortes entlang dieser Richtung ist sein (Einheits)vektor punktiert mit der Richtung: positiv neigt zu "she", negativ neigt zu "he".
Die Spielwelt kann einen skew hinzufügen: mit skew 0.4 sagen Pflegekräfter-Sätze zu 90% "she" und Ingenieur-Sätze zu 90% "he". Ärzte und Lehrer bleiben bei 50:50. Sonst ändert sich nichts.
Es es zu entfernen, und die Falle
Du kannst die Komponente jedes Jobs entlang der Richtung abziehen, was seine Position auf genau 0 setzt. In dieser Spielzeugwelt funktioniert das fast vollständig: gemessen nach der Entfernung sitzen Krankenschwester und Ingenieur etwa gleich nah an "sie" und "er" (Kosinuswerte 0.114 und 0.118 in beide Richtungen). Das liegt daran, dass die Verzerrung hier in einem Wort lebt, dem Pronomen. Bei Wortvektoren, die auf echtem Text trainiert wurden, fanden Forscher das Gegenteil: Die Verzerrung verteilt sich über tausende Wörter, die eine Richtung nicht erfassen kann, also verraten die Nachbarn eines Jobs nach der Entfernung immer noch seine Identität. Ein sauberer Linealwert ist also kein Beweis, dass die Verzerrung verschwunden ist, und die ehrliche Lösung beginnt bei den Daten.
Wörter und Symbole in dieser Lektion
- embedding
- die Reihe der gelernten Zahlen, die für ein Symbol steht
- window
- wie viele Wörter auf jeder Seite zählen als Begleitung eines Wortes
- PPMI
- wie viel öfter zwei Wörter aufeinandertreffen als der Zufall es vorgeben würde, mit Negativen auf 0
- toy Welt
- a erfundener Text mit eingebetteter Struktur, sodass die richtigen Antworten bekannt sind
- skew
- a einseitiges Muster in den Daten, die die Vektoren kopieren
Schreibe gender_direction(X) und position(X, word, g). Beide arbeiten mit Einheitsvektoren: Teile zuerst den Vektor jedes Wortes durch seine Länge, dann nimm die vier Differenzen (queen minus king, woman minus man, princess minus prince, girl minus boy), addiere sie und skaliere die Summe auf Länge 1. Eine Position ist der Einheitsvektor des Wortes punktiert mit g. Fülle pos: skew (0.0 und 0.4) zu einem Dictionary der Positionen der vier Aufgaben, wobei count Vektoren mit dem ganzen Satz als Fenster verwendest. Schreibe dann remove(x, g), das die Komponente entlang g herausnimmt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.