Lehrplan Lektion 232 von 246 · Modul 22: Behauptungen beurteilen
Modul 22: Behauptungen beurteilen

Ein Seed ist eine Anekdote

Warum das wichtig istDas Training desselben Modells zweimal mit unterschiedlichen random seeds liefert unterschiedliche Ergebnisse. Ein Unterschied zwischen zwei Modellen, der kleiner als diese Streuung ist, ist kein Ergebnis, und ein einzelner Durchlauf kann dir nicht sagen, wie groß die Streuung ist.

A Behauptung: "bei 8.000 tokens schlägt Breite 1024 Breite 512", gestützt durch jeweils einen Durchlauf (seed 0: 2.793 gegen 2.799). Der Kurs hat 3 seeds von jedem aufgezeichnet.

Eine einfache Regel für "A schlägt B" mit einigen Seeds pro Gruppe: nimm die Differenz der Mittelwerte und ihren standard error (wie stark sich diese Differenz ändern würde, wenn du die Seeds erneut ausführen würdest), sqrt(var(A) / nA + var(B) / nB) mit der Stichprobenvarianz (ddof=1). Nenne es gezeigt, wenn die Differenz mehr als 2 Standardfehler beträgt. judge.standard_error(a, b) berechnet es.

Zuerst vorhersagen: Mit drei Seeds schlägt Breite 1024 bei 8.000 Tokens immer noch 512?

Wörter und Symbole in dieser Lektion
seed
die Zahl, die die zufälligen Entscheidungen eines Durchlaufs festlegt; ein anderer seed gibt ein anderes Ergebnis
standard error
wie sehr viel ein gemessener Unterschied sich verschieben würde, wenn die seeds erneut ausgeführt würden
Du bist dran

Setze my_guess auf "yes" oder "no". Für 8,000 und 1,500,000 tokens fülle diff[tokens] (mittlerer Verlust von Breite 512 minus mittlerer Verlust von Breite 1024: positiv bedeutet 1024 ist besser) und two_se[tokens]. Setze verdict[tokens] auf "shown" oder "not shown".

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.