Ein Seed ist eine Anekdote
Warum das wichtig istDas Training desselben Modells zweimal mit unterschiedlichen random seeds liefert unterschiedliche Ergebnisse. Ein Unterschied zwischen zwei Modellen, der kleiner als diese Streuung ist, ist kein Ergebnis, und ein einzelner Durchlauf kann dir nicht sagen, wie groß die Streuung ist.
A Behauptung: "bei 8.000 tokens schlägt Breite 1024 Breite 512", gestützt durch jeweils einen Durchlauf (seed 0: 2.793 gegen 2.799). Der Kurs hat 3 seeds von jedem aufgezeichnet.
Eine einfache Regel für "A schlägt B" mit einigen Seeds pro Gruppe: nimm die Differenz der Mittelwerte und ihren standard error (wie stark sich diese Differenz ändern würde, wenn du die Seeds erneut ausführen würdest), sqrt(var(A) / nA + var(B) / nB) mit der Stichprobenvarianz (ddof=1). Nenne es gezeigt, wenn die Differenz mehr als 2 Standardfehler beträgt. judge.standard_error(a, b) berechnet es.
Zuerst vorhersagen: Mit drei Seeds schlägt Breite 1024 bei 8.000 Tokens immer noch 512?
Wörter und Symbole in dieser Lektion
- seed
- die Zahl, die die zufälligen Entscheidungen eines Durchlaufs festlegt; ein anderer seed gibt ein anderes Ergebnis
- standard error
- wie sehr viel ein gemessener Unterschied sich verschieben würde, wenn die seeds erneut ausgeführt würden
Setze my_guess auf "yes" oder "no". Für 8,000 und 1,500,000 tokens fülle diff[tokens] (mittlerer Verlust von Breite 512 minus mittlerer Verlust von Breite 1024: positiv bedeutet 1024 ist besser) und two_se[tokens]. Setze verdict[tokens] auf "shown" oder "not shown".
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.