Anpassung eines Potenzgesetzes mit einem Bodenwert
Warum das wichtig ist "Größer ist besser" ist für die Planung nutzlos. "Loss fällt als Gewichte zur -0.5 Potenz, hin zu einem Floor von 1.6" lässt dich eine Zahl für einen Run setzen, den du nicht bezahlt hast. Diese Zahl zu erhalten und wie sicher du dir dabei bist, ist die Fähigkeit.
Die Form, die am besten zu den Skalierungsdaten passt:
loss = E + A N^(-alpha)
N ist die Anzahl der Gewichte, alpha der exponent (wie schnell es sich verbessert) und E der floor: der Verlust, den kein Modell dieser Familie auf diesen Daten schlagen kann. Ein Teil davon ist, dass der Text unvorhersehbar ist; ein Teil ist die eigene Grenze der Familie (dieses Modell sieht immer nur 8 Zeichen zurück). Eine andere Familie, zum Beispiel eine, die weiter zurückliest, hat einen niedrigeren Floor. Ohne den Floor überschätzt ein Fit auf kleinen Modellen, wie viel große Modelle gewinnen.
Wie man es anpasst: für jeden Kandidaten-Floor E zwischen 0 und knapp unter dem kleinsten loss, nimm die logs, log(loss - E) = log A - alpha log N, was eine gerade Linie ist, und passe es durch kleinste Quadrate an. Behalte das E, dessen Kurve den kleinsten quadratischen Fehler auf den losses selbst hat.
Fehlerbalken: es gibt 3 seeds pro Größe. Passe viele Male neu an, wähle jedes Mal einen seed zufällig für jede Größe aus (ein bootstrap), und betrachte die Streuung von alpha. Beobachte die Szene: die gleichen Punkte, die angepasste Kurve mit und ohne Boden, und das Band der bootstrap fits.
Wörter und Symbole in dieser Lektion
- power law
- y = A x^-alpha: eine gerade Linie auf log-log Achsen
- exponent (alpha, beta)
- wie schnell der Verlust mit mehr Gewichten (alpha) oder mehr Daten (beta) sinkt
- floor (E)
- der Verlust, den kein Modell auf diesen Daten schlagen kann
- token
- hier, eine Vorhersage: ein Zeichen
- bootstrap
- Refitting auf resampled Daten, um zu sehen, wie stark sich eine gefittete Zahl bewegen würde
Schreibe fit(N, loss) und gib (E, A, alpha) wie beschrieben zurück (400 Kandidatenböden von 0 bis 0.999 x dem kleinsten Verlust). Passe die 1,5-Millionen-Token-Läufe (ein Mittelwert pro Breite) in main an, führe dann 100 Bootstrap-Refits aus und setze interval auf das 5. und 95. Perzentil von alpha.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.