Lehrplan Lektion 135 von 246 · Modul 12: Wörter als Zahlen (Embeddings)
Modul 12: Wörter als Zahlen (Embeddings)

Was ein Modell über Buchstaben gelernt hat

Warum das wichtig istNiemand sagt einem Sprachmodell, dass a und e beide Vokale sind. Wenn seine Embeddings sie trotzdem nah beieinander platzieren, hat das Modell dies allein aus dem Text entdeckt. Dies ist der erste Einblick in die aus Daten gelernte Bedeutung.

Um zwei Embeddings zu vergleichen, nutze cosine similarity: das Skalarprodukt geteilt durch beide Längen. Es ist 1, wenn zwei Vektoren in die gleiche Richtung zeigen, 0, wenn sie unzusammenhängend sind (im rechten Winkel), und minus 1, wenn sie in entgegengesetzte Richtungen zeigen. Es ignoriert die Länge, was meistens widerspiegelt, wie oft ein Symbol erscheint.

Du wirst in das aufgezeichnete kleine GPT des Kurses schauen (Modul 13 baut es). Es hat nur den Unterrichtstext dieses Kurses gelesen, Zeichen für Zeichen, wobei jedes Zeichen eine Reihe von 64 Zahlen war.

Vorhersage zuerst: welche Gruppe von Zeichenpaaren wird im Durchschnitt am ähnlichsten sein: zwei Vokale, ein Vokal und ein Konsonant oder zwei Ziffern?

Wörter und Symbole in dieser Lektion
embedding
die Reihe der gelernten Zahlen, die für ein Symbol steht
cosine similarity
Skalarprodukt über beide Längen: 1 gleiche Richtung, 0 nicht verwandt, -1 entgegengesetzt
Du bist dran

Setze my_prediction auf "vowels", "mixed" oder "digits". Schreibe cosine(a, b) und nearest(ch, k) (die k anderen Zeichen mit dem höchsten Cosinus zu ch, am besten zuerst). Fülle dann group mit dem durchschnittlichen Cosinus über alle Paare verschiedener Zeichen innerhalb jeder Gruppe.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.