Lehrplan Lektion 206 von 246 · Modul 19: Größer, und wie viel besser (Skalierungsgesetze)
Modul 19: Größer, und wie viel besser (Skalierungsgesetze)

Echte Sprünge oder ein Trick der Metrik?

Warum das wichtig istSchlagzeilen sagen, dass große Modelle plötzlich Fähigkeiten bei einer bestimmten Größe gewinnen: "Emergence". Manchmal ist der Sprung real. Oft hat sich die Fähigkeit kontinuierlich verbessert und die metric ließ es plötzlich erscheinen (Schaeffer, Miranda und Koyejo, 2023). Zu wissen, was was ist, entscheidet darüber, ob du es vorhersagen kannst.

Das Gitter hat zwei Werte auf demselben zurückbehaltenen Text aufgezeichnet:

  • Genauigkeit pro Zeichen p: der Anteil der Positionen, an denen die Top-Vermutung des Modells für das nächste Zeichen richtig ist. Er steigt glatt mit der Größe an, von 0.27 bis 0.53 bei 1.5 Millionen Tokens.
  • Alle 5 richtig: der Anteil der Positionen, an denen es die nächsten 5 Zeichen ohne Fehler schreibt. Alles oder nichts.

Wenn jedes Zeichen unabhängig mit der Wahrscheinlichkeit p richtig wäre, wären fünf in einer Reihe p^5 der Zeit richtig. Überprüfe das zuerst gegen das Gitter. Sieh dir dann an, was der Exponent einer Fähigkeit tut, die gleichmäßig verbessert wird. Diese kleinen Modelle kommen nie weit genug, um den vollen Effekt zu zeigen, also ist der zweite Teil eine klar beschriftete Illustration, keine Messung: eine Genauigkeit pro Zeichen, die in zehn gleichen Schritten von 0.5 auf 0.95 steigt.

Wörter und Symbole in dieser Lektion
exponent (alpha, beta)
wie schnell der loss mit mehr weights (alpha) oder mehr data (beta) sinkt
token
hier, eine Vorhersage: ein Zeichen
emergence
eine Fähigkeit, die scheinbar plötzlich bei einer bestimmten Größe erscheint; manchmal durch eine Alles-oder-Nichts-Metrik erzeugt
Du bist dran

Fülle pairs: für jede Breite bei 1,5 Millionen Tokens, (p, p^5, measured all-5-right). Dann setze für die Illustration all10 auf p^10 für p_even, und late_share auf den Anteil des gesamten Anstiegs von all10's, der in den letzten 3 der 10 steps passiert. Setze schließlich case.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.