Eén zaadje is een anekdote
Waarom dit ertoe doet Het twee keer trainen van hetzelfde model met verschillende random seeds geeft verschillende resultaten. Een verschil tussen twee modellen dat kleiner is dan die spreiding is geen resultaat, en een enkele run kan je niet vertellen hoe groot de spreiding is.
A claim: "bij 8,000 tokens verslaat breedte 1024 breedte 512", ondersteund door één run elk (seed 0: 2.793 tegenover 2.799). De cursus registreerde 3 seeds van elk.
Een simpele regel voor "A verslaat B" met een paar seeds elk: neem het verschil van de gemiddelden en de standard error (hoeveel dat verschil zou bewegen als je de seeds opnieuw zou draaien), sqrt(var(A) / nA + var(B) / nB) met de variantie van de steekproef (ddof=1). Noem het getoond wanneer het verschil meer is dan 2 standaard fouten. judge.standard_error(a, b) berekent het.
Voorspel eerst: met drie seeds, wint breedte 1024 nog steeds van 512 bij 8,000 tokens?
Woorden en symbolen in deze les
- seed
- het getal dat de willekeurige keuzes van een run vastlegt; een andere seed geeft een ander resultaat
- standaardfout
- hoeveel een gemeten verschil zou bewegen als de seeds opnieuw zouden worden uitgevoerd
Zet my_guess op "yes" of "no". Voor 8,000 en 1,500,000 tokens, vul diff[tokens] (gemiddelde loss van breedte 512 min gemiddelde loss van breedte 1024: positief betekent dat 1024 beter is) en two_se[tokens]. Zet verdict[tokens] op "shown" of "not shown".
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.