'n Beter gemiddelde, dieselfde vaardigheid
Hoekom dit saak maak "Ons model het laere loss" is die algemeenste bewering in taalmodellering. Die loss is 'n gemiddelde oor elke voorspelling, en 'n gemiddelde kan verbeter sonder dat die deel wat jy wil verbeter, dit glad nie doen nie.
Die kursus het twee GPTs wat dieselfde manier opgelei is, 32 en 64 breed, aangeteken. Die breër een het die laer gehoude verlies. Maar voorspellings is nie almal dieselfde nie: om 'n woord wat jy begin het klaar te maak ("gradi" dan "e") is maklik; om die eerste letter van die next woord te kies is om te kies wat om volgende te sê, en dit is moeilik.
judge.per_position(model, X, Y) gee die verlies van elke voorspelling. Bereken die gemiddelde oor alle posisies, oor die eerste letters van woorde, en oor die res van elke woord.
Voorspel eerste: word die breër model beter by die kies van die volgende woord?
Woorde en simbole in hierdie les
- seed
- die nommer wat 'n loop se willeke keuses vasstel; 'n ander seed gee 'n ander resultaat
Stel my_guess in op "yes" of "no". Vul loss[width] met 'n dict van 'all', 'first letter' en 'inside word' vir breedtes 32 en 64. Stel gain_from in op die soort posisie ("first letter" of "inside word") waar die breër model se wins vandaan kom.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.