Programma Les 232 van 246 · Module 22: Claims beoordelen
Module 22: Claims beoordelen

Eén zaadje is een anekdote

Waarom dit ertoe doet Het twee keer trainen van hetzelfde model met verschillende random seeds geeft verschillende resultaten. Een verschil tussen twee modellen dat kleiner is dan die spreiding is geen resultaat, en een enkele run kan je niet vertellen hoe groot de spreiding is.

A claim: "bij 8,000 tokens verslaat breedte 1024 breedte 512", ondersteund door één run elk (seed 0: 2.793 tegenover 2.799). De cursus registreerde 3 seeds van elk.

Een simpele regel voor "A verslaat B" met een paar seeds elk: neem het verschil van de gemiddelden en de standard error (hoeveel dat verschil zou bewegen als je de seeds opnieuw zou draaien), sqrt(var(A) / nA + var(B) / nB) met de variantie van de steekproef (ddof=1). Noem het getoond wanneer het verschil meer is dan 2 standaard fouten. judge.standard_error(a, b) berekent het.

Voorspel eerst: met drie seeds, wint breedte 1024 nog steeds van 512 bij 8,000 tokens?

Woorden en symbolen in deze les
seed
het getal dat de willekeurige keuzes van een run vastlegt; een andere seed geeft een ander resultaat
standaardfout
hoeveel een gemeten verschil zou bewegen als de seeds opnieuw zouden worden uitgevoerd
Jij bent aan de beurt

Zet my_guess op "yes" of "no". Voor 8,000 en 1,500,000 tokens, vul diff[tokens] (gemiddelde loss van breedte 512 min gemiddelde loss van breedte 1024: positief betekent dat 1024 beter is) en two_se[tokens]. Zet verdict[tokens] op "shown" of "not shown".

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.