Raad een groter model
Waarom dit ertoe doet Het trainen van een groot model kost maanden en miljoenen. Voordat iemand dat uitgeeft, voorspellen ze hoe goed het zal zijn vanuit kleine runs. Het verrassende feit achter de AI boom is dat de voorspelling meestal werkt. Kijk eerst hoe goed je eigen intuïtie is.
De modellen in deze module zijn kleine karaktermodellen: ze lezen 8 karakters en voorspellen de volgende. Eén getal bepaalt hun grootte, de width van de hidden layer. De cursus trainde er 150 (10 breedtes, 5 hoeveelheden data, 3 seeds elk) op 1,5 miljoen karakters van de eigen lestekst, en mat de loss van elk model op 100.000 karakters die het nooit had gezien.
EenA width-128 model (24,401 weights) getraind op 1,5 miljoen tokens bereikt een held-out loss van ongeveer 1,86. Een token hier is één voorspelling: één teken.
Voordat je kijkt: een model met breedte-1024 heeft 7.7 keer zoveel weights. Getraind op dezelfde data, welke loss zal het bereiken? Voor de schaal: het voorspellen van elk karakter met even waarschijnlijke scores geeft 4.42, en de beste van deze modellen komen onder de 2.
.Woorden en symbolen in deze les
- token
- hier, één voorspelling: één teken
Zet my_guess op je voorspelde held-out loss voor width 1024 bij 1.5 miljoen tokens. Zet daarna actual in op basis van de opgenomen runs (het gemiddelde over de 3 seeds) en error op de afstand van je voorspelling (actueel minus gok).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.