Kurrikulum Leson 230 van 246 · Module 22: Beoordeel aansprake
Module 22: Beoordeel aansprake

'n Beter gemiddelde, dieselfde vaardigheid

Hoekom dit saak maak "Ons model het laere loss" is die algemeenste bewering in taalmodellering. Die loss is 'n gemiddelde oor elke voorspelling, en 'n gemiddelde kan verbeter sonder dat die deel wat jy wil verbeter, dit glad nie doen nie.

Die kursus het twee GPTs wat dieselfde manier opgelei is, 32 en 64 breed, aangeteken. Die breër een het die laer gehoude verlies. Maar voorspellings is nie almal dieselfde nie: om 'n woord wat jy begin het klaar te maak ("gradi" dan "e") is maklik; om die eerste letter van die next woord te kies is om te kies wat om volgende te sê, en dit is moeilik.

judge.per_position(model, X, Y) gee die verlies van elke voorspelling. Bereken die gemiddelde oor alle posisies, oor die eerste letters van woorde, en oor die res van elke woord.

Voorspel eerste: word die breër model beter by die kies van die volgende woord?

Woorde en simbole in hierdie les
seed
die nommer wat 'n loop se willeke keuses vasstel; 'n ander seed gee 'n ander resultaat
Jou beurt

Stel my_guess in op "yes" of "no". Vul loss[width] met 'n dict van 'all', 'first letter' en 'inside word' vir breedtes 32 en 64. Stel gain_from in op die soort posisie ("first letter" of "inside word") waar die breër model se wins vandaan kom.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.