Een beter gemiddelde, dezelfde vaardigheid
Waarom dit ertoe doet "Ons model heeft een lagere loss" is de meest voorkomende bewering in taalmodellering. De loss is een gemiddelde over elke voorspelling, en een gemiddelde kan verbeteren zonder dat het deel waar jij verbetering van wilt helemaal verandert.
De cursus registreerde twee GPTs die op dezelfde manier zijn getraind, 32 en 64 breed. De bredere heeft de lagere held-out loss. Maar voorspellingen zijn niet allemaal gelijk: een woord dat je bent begonnen afmaken ("gradi" dan "e") is makkelijk; de eerste letter van het next woord kiezen is bepalen wat je daarna zegt, en dat is moeilijk.
judge.per_position(model, X, Y) geeft de loss van elke voorspelling. Bereken het gemiddelde over alle posities, over de eerste letters van woorden en over de rest van elk woord.
Voorspel eerst: wordt het bredere model beter in het kiezen van het volgende woord?
Woorden en symbolen in deze les
- seed
- het getal dat de willekeurige keuzes van een run vastzet; een andere seed geeft een ander resultaat
Zet my_guess op "yes" of "no". Vul loss[width] met een dictionary van 'all', 'first letter' en 'inside word' voor breedtes 32 en 64. Zet gain_from op het soort positie ("first letter" of "inside word") waar de winst van het bredere model vandaan komt.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.