Kurrikulum Leson 200 van 246 · Module 19: Groter, en hoeveel beter (skaleringswette)
Module 19: Groter, en hoeveel beter (skaleringswette)

Raai 'n groter model

Hoekom dit saak maak Om 'n groot model te train kos maande en miljoene. Voordat iemand dit spandeer, voorspel hulle hoe goed dit gaan wees vanaf klein runs. Die verrassende feit agter die AI-boom is dat die voorspelling gewoonlik werk. Kyk eers hoe goed jou eie intuisie is.

Die modelle in hierdie module is klein karaktermodelle: hulle lees 8 karakters en voorspel die volgende een. Een getal stel hul grootte, die width van die hidden layer. Die kursus het 150 van hulle (10 widths, 5 amounts of data, 3 seeds elk) op 1.5 miljoen karakters van sy eie lesstekst getoën en elke een se loss op 100,000 karakters wat dit nooit gesien het, gemeet.

'n

A width-128 model (24,401 weights) wat op 1.5 miljoen tokens opgelei is, bereik 'n held-out loss van ongeveer 1.86. 'n token hier is een voorspelling: een karakter.

Voordat jy kyk: 'n model met 'n breedte van 1024 het 7.7 keer meer gewigte. As dit op dieselfde data opgelei is, watter loss sal dit bereik? Vir skaal: om elke karakter gelykwaartig waarskynlik te voorspel gee 'n skare van 4.42, en die beste van hierdie modelle kom onder 2.

Woorde en simbole in hierdie les
token
hier, een voorspelling: een karakter
Jou beurt

Stel my_guess in op jou voorspelde held-out loss vir breedte 1024 by 1.5 miljoen tokens. Stel dan actual in vanaf die opgetekende runs (die gemiddelde oor die 3 seeds), en error op hoe ver jy af was (werklikheid minus raai).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.