Was ein Modell über Buchstaben gelernt hat
Warum das wichtig istNiemand sagt einem Sprachmodell, dass a und e beide Vokale sind. Wenn seine Embeddings sie trotzdem nah beieinander platzieren, hat das Modell dies allein aus dem Text entdeckt. Dies ist der erste Einblick in die aus Daten gelernte Bedeutung.
Um zwei Embeddings zu vergleichen, nutze cosine similarity: das Skalarprodukt geteilt durch beide Längen. Es ist 1, wenn zwei Vektoren in die gleiche Richtung zeigen, 0, wenn sie unzusammenhängend sind (im rechten Winkel), und minus 1, wenn sie in entgegengesetzte Richtungen zeigen. Es ignoriert die Länge, was meistens widerspiegelt, wie oft ein Symbol erscheint.
Du wirst in das aufgezeichnete kleine GPT des Kurses schauen (Modul 13 baut es). Es hat nur den Unterrichtstext dieses Kurses gelesen, Zeichen für Zeichen, wobei jedes Zeichen eine Reihe von 64 Zahlen war.
Vorhersage zuerst: welche Gruppe von Zeichenpaaren wird im Durchschnitt am ähnlichsten sein: zwei Vokale, ein Vokal und ein Konsonant oder zwei Ziffern?
Wörter und Symbole in dieser Lektion
- embedding
- die Reihe der gelernten Zahlen, die für ein Symbol steht
- cosine similarity
- Skalarprodukt über beide Längen: 1 gleiche Richtung, 0 nicht verwandt, -1 entgegengesetzt
Setze my_prediction auf "vowels", "mixed" oder "digits". Schreibe cosine(a, b) und nearest(ch, k) (die k anderen Zeichen mit dem höchsten Cosinus zu ch, am besten zuerst). Fülle dann group mit dem durchschnittlichen Cosinus über alle Paare verschiedener Zeichen innerhalb jeder Gruppe.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.