Programma Les 200 van 246 · Module 19: Groter, en hoe veel beter (scaling laws)
Module 19: Groter, en hoe veel beter (scaling laws)

Raad een groter model

Waarom dit ertoe doet Het trainen van een groot model kost maanden en miljoenen. Voordat iemand dat uitgeeft, voorspellen ze hoe goed het zal zijn vanuit kleine runs. Het verrassende feit achter de AI boom is dat de voorspelling meestal werkt. Kijk eerst hoe goed je eigen intuïtie is.

De modellen in deze module zijn kleine karaktermodellen: ze lezen 8 karakters en voorspellen de volgende. Eén getal bepaalt hun grootte, de width van de hidden layer. De cursus trainde er 150 (10 breedtes, 5 hoeveelheden data, 3 seeds elk) op 1,5 miljoen karakters van de eigen lestekst, en mat de loss van elk model op 100.000 karakters die het nooit had gezien.

Een

A width-128 model (24,401 weights) getraind op 1,5 miljoen tokens bereikt een held-out loss van ongeveer 1,86. Een token hier is één voorspelling: één teken.

Voordat je kijkt: een model met breedte-1024 heeft 7.7 keer zoveel weights. Getraind op dezelfde data, welke loss zal het bereiken? Voor de schaal: het voorspellen van elk karakter met even waarschijnlijke scores geeft 4.42, en de beste van deze modellen komen onder de 2.

.
Woorden en symbolen in deze les
token
hier, één voorspelling: één teken
Jij bent aan de beurt

Zet my_guess op je voorspelde held-out loss voor width 1024 bij 1.5 miljoen tokens. Zet daarna actual in op basis van de opgenomen runs (het gemiddelde over de 3 seeds) en error op de afstand van je voorspelling (actueel minus gok).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.