Tor: ein kaputter Transformator (KI aus)
Warum das wichtig ist Dies ist ein ganzer GPT forward pass geschrieben mit der Haus-Engine, und er hat zwei Fehler. Beide sind klassisch, und jeder für sich allein hat echte Teams getäuscht.
KI aus. Ein Fehler lässt das Modell Zeichen sehen, die es eigentlich vorhersagen soll. Der andere macht den Stack viel schwerer zu trainieren. Finde und behebe beide.
Wörter und Symbole in dieser Lektion
- abfrage, Schlüssel, Wert
- was eine Position sucht; was jede Position zum Abgleichen anbietet; was sie übergibt
- head
- one von H schmaleren Aufmerksamkeiten laufen nebeneinander, jede mit ihrem eigenen Muster
Fixiere logits. Das Ändern eines Zeichens darf keine Vorhersage für frühere Positionen ändern, und nach 200 Schritten muss der durchschnittliche Verlust über die letzten 20 Schritte unter 2.65 liegen.
KI aus: kein Tutor, keine Hinweise oder gelöste Lösung für diese Aufgabe. Nur dein eigenes Denken.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.