Echte sprongen, of een truc van de metriek?
Waarom dit ertoe doetKoppen zeggen dat grote modellen plotseling vaardigheden krijgen bij een bepaalde grootte: "emergence". Soms is de sprong echt. Vaak verbeterde de vaardigheid de hele tijd geleidelijk en zorgde de metric ervoor dat het plotseling leek (Schaeffer, Miranda en Koyejo, 2023). Weten wat wat is bepaalt of je het kunt voorspellen.
Het rooster registreerde twee scores op dezelfde vastgehouden tekst:
- Nauwkeurigheid per karakter p: het deel van de posities waar de beste gok van het model voor het volgende karakter juist is. Het stijgt vloeiend met de grootte, van 0.27 tot 0.53 bij 1.5 miljoen tokens.
- Alle 5 goed: het deel van de posities waar het de volgende 5 karakters zonder fout schrijft. Alles of niets.
Als elk karakter onafhankelijk correct zou zijn met waarschijnlijkheid p, dan zouden er vijf op een rij correct zijn p^5 van de tijd. Controleer dat eerst tegen het raster. Kijk dan wat de exponent doet met een vaardigheid die gelijkmatig verbetert. Deze kleine modellen komen nooit ver genoeg om het volledige effect te tonen, dus het tweede deel is een duidelijk gelabelde illustratie, geen meting: een nauwkeurigheid per karakter die in tien gelijke stappen stijgt van 0.5 naar 0.95.
Woorden en symbolen in deze les
- exponent (alpha, beta)
- hoe snel de loss daalt met meer weights (alpha) of meer data (beta)
- token
- hier, één voorspelling: één teken
- emergence
- een vermogen dat lijkt plotseling te verschijnen bij een bepaalde grootte; soms gemaakt door een alles-of-niets metriek
Vul pairs: voor elke breedte bij 1,5 miljoen tokens, (p, p^5, gemeten alle-5-rechts). Zet daarna voor de illustratie all10 op p^10 voor p_even, en late_share op het deel van de totale stijging van alle10's dat gebeurt in de laatste 3 van de 10 stappen. Stel tenslotte case.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.