Rate ein größeres Modell
Warum das wichtig istDas Training eines großen Modells kostet Monate und Millionen. Bevor jemand das ausgibt, wird vorher vorhergesagt, wie gut es sein wird, basierend auf kleinen Durchläufen. Die überraschende Tatsache hinter dem KI Boom ist, dass die Vorhersage meistens funktioniert. Schau zuerst, wie gut deine eigene Intuition ist.
Die Modelle in diesem Modul sind kleine Charaktermodelle: sie lesen 8 Zeichen und sagen das nächste voraus. Eine Zahl legt ihre Größe fest, die width der verborgenen Schicht. Der Kurs hat 150 davon (10 Breiten, 5 Datenmengen, jeweils 3 Seeds) auf 1,5 Millionen Zeichen seines eigenen Unterrichtstextes trainiert und den Loss jedes einzelnen auf 100.000 Zeichen gemessen, die es nie gesehen hat.
DasA width-128 Modell (24,401 weights) trainiert auf 1,5 Millionen tokens erreicht einen held-out loss von etwa 1,86. Ein token hier ist eine Vorhersage: ein Zeichen.
Bevor du schaust: ein Modell mit einer Breite von 1024 hat das 7,7-fache an Gewichten. Trainiert auf denselben Daten, welchen loss wird es erreichen? Für den Maßstab: das Vorhersagen jedes Zeichens mit gleicher Wahrscheinlichkeit erzielt 4,42, und die besten dieser Modelle liegen unter 2.
Wörter und Symbole in dieser Lektion
- token
- hier, eine Vorhersage: ein Zeichen
Setze my_guess auf deinen vorhergesagten held-out loss für width 1024 bei 1.5 million tokens. Setze dann actual aus den aufgezeichneten runs (den Mittelwert über die 3 seeds) und error auf die Abweichung (actual minus guess).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.