Programma Les 230 van 246 · Module 22: Claims beoordelen
Module 22: Claims beoordelen

Een beter gemiddelde, dezelfde vaardigheid

Waarom dit ertoe doet "Ons model heeft een lagere loss" is de meest voorkomende bewering in taalmodellering. De loss is een gemiddelde over elke voorspelling, en een gemiddelde kan verbeteren zonder dat het deel waar jij verbetering van wilt helemaal verandert.

De cursus registreerde twee GPTs die op dezelfde manier zijn getraind, 32 en 64 breed. De bredere heeft de lagere held-out loss. Maar voorspellingen zijn niet allemaal gelijk: een woord dat je bent begonnen afmaken ("gradi" dan "e") is makkelijk; de eerste letter van het next woord kiezen is bepalen wat je daarna zegt, en dat is moeilijk.

judge.per_position(model, X, Y) geeft de loss van elke voorspelling. Bereken het gemiddelde over alle posities, over de eerste letters van woorden en over de rest van elk woord.

Voorspel eerst: wordt het bredere model beter in het kiezen van het volgende woord?

Woorden en symbolen in deze les
seed
het getal dat de willekeurige keuzes van een run vastzet; een andere seed geeft een ander resultaat
Jij bent aan de beurt

Zet my_guess op "yes" of "no". Vul loss[width] met een dictionary van 'all', 'first letter' en 'inside word' voor breedtes 32 en 64. Zet gain_from op het soort positie ("first letter" of "inside word") waar de winst van het bredere model vandaan komt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.