Ein RNN für Zeichen
Warum das wichtig istDas nächste Zeichen aus den vorherigen zu vorhersagen ist das ursprüngliche Sprachmodell. Dieselbe Idee, skaliert, ist ein Chatbot.
Füttere den eigenen Unterrichtstext des Kurses Zeichen für Zeichen. Bei jedem Schritt aktualisiert das RNN seinen Zustand und sagt das nächste Zeichen mit einer linearen Schicht und softmax voraus. Der loss ist die durchschnittliche cross-entropy über die 16 Positionen jedes Trainingsabschnitts.
Jedes Zeichen wird als embedding eingegeben: eine gelernte Reihe von Zahlen, die über den Index des Zeichens abgerufen wird (Modul 12 erklärt sie richtig; vorerst ist es eine Lookup-Tabelle, die das Netzwerk trainiert).
Rufe die Curve mit dem Chart auf: schätze den Verlust bei Schritt 0 und nach 200 Schritten. Ein gleichmäßiger Schätzwert über alle Zeichen im Text ergibt etwa ln(V).
Wörter und Symbole in dieser Lektion
- rekurrentes Netzwerk (RNN)
- ein Netzwerk, das einen Schritt nach dem anderen liest und einen verborgenen Zustand weitergibt
- entropy
- wie weit eine Verteilung gestreut ist: 0 wenn sicher, ln(n) wenn alle n Auswahlmöglichkeiten gleich sind
Fülle my_guess aus. Schreib dann step_state(x_ids, h, P) mit der Engine des Kurses: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Die Trainingsschleife drumherum ist schon für dich geschrieben. Nach 200 Schritten muss der durchschnittliche Verlust der letzten 20 Schritte unter 2.6 liegen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.