Lehrplan Lektion 126 von 246 · Modul 11: Netzwerke mit Gedächtnis (RNNs)
Modul 11: Netzwerke mit Gedächtnis (RNNs)

Ein RNN für Zeichen

Warum das wichtig istDas nächste Zeichen aus den vorherigen zu vorhersagen ist das ursprüngliche Sprachmodell. Dieselbe Idee, skaliert, ist ein Chatbot.

Füttere den eigenen Unterrichtstext des Kurses Zeichen für Zeichen. Bei jedem Schritt aktualisiert das RNN seinen Zustand und sagt das nächste Zeichen mit einer linearen Schicht und softmax voraus. Der loss ist die durchschnittliche cross-entropy über die 16 Positionen jedes Trainingsabschnitts.

Jedes Zeichen wird als embedding eingegeben: eine gelernte Reihe von Zahlen, die über den Index des Zeichens abgerufen wird (Modul 12 erklärt sie richtig; vorerst ist es eine Lookup-Tabelle, die das Netzwerk trainiert).

Rufe die Curve mit dem Chart auf: schätze den Verlust bei Schritt 0 und nach 200 Schritten. Ein gleichmäßiger Schätzwert über alle Zeichen im Text ergibt etwa ln(V).

Wörter und Symbole in dieser Lektion
rekurrentes Netzwerk (RNN)
ein Netzwerk, das einen Schritt nach dem anderen liest und einen verborgenen Zustand weitergibt
entropy
wie weit eine Verteilung gestreut ist: 0 wenn sicher, ln(n) wenn alle n Auswahlmöglichkeiten gleich sind
Du bist dran

Fülle my_guess aus. Schreib dann step_state(x_ids, h, P) mit der Engine des Kurses: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Die Trainingsschleife drumherum ist schon für dich geschrieben. Nach 200 Schritten muss der durchschnittliche Verlust der letzten 20 Schritte unter 2.6 liegen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.