Ein besserer Durchschnitt, die gleiche Fähigkeit
Warum das wichtig ist "Unser Modell hat einen niedrigeren loss" ist die häufigste Behauptung beim Sprachmodellieren. Der loss ist ein Durchschnitt über jede Vorhersage, und ein Durchschnitt kann sich verbessern, ohne dass der Teil, den du verbessern willst, sich überhaupt verbessert.
Der Kurs hat zwei GPTs aufgezeichnet, die auf die gleiche Weise trainiert wurden, 32 und 64 breit. Die breitere hat den niedrigeren gehaltenen Verlust. Aber Vorhersagen sind nicht alle gleich: ein Wort zu beenden, das du begonnen hast ("gradi" dann "e") ist einfach; den ersten Buchstaben des next Wortes zu wählen ist zu entscheiden, was als Nächstes zu sagen ist, und es ist schwer.
judge.per_position(model, X, Y) gibt den loss jeder Vorhersage an. Berechne den Durchschnitt über alle Positionen, über die ersten Buchstaben der Wörter und über den Rest jedes Wortes.
Vorhersage zuerst: wird das breitere Modell besser darin, das nächste Wort zu wählen?
Wörter und Symbole in dieser Lektion
- seed
- die Zahl, die die zufälligen Entscheidungen eines Durchlaufs festlegt; ein anderer seed gibt ein anderes Ergebnis
Setze my_guess auf "yes" oder "no". Fülle loss[width] mit einem Dictionary von 'all', 'first letter' und 'inside word' für Breiten 32 und 64. Setze gain_from auf die Art der Position ("first letter" oder "inside word"), von der der Gewinn des breiteren Modells kommt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.