Programma Les 207 van 246 · Module 19: Groter, en hoe veel beter (scaling laws)
Module 19: Groter, en hoe veel beter (scaling laws)

Poort: plan een trainingsrun (AI uit)

Waarom dit ertoe doet Dit zijn de schaalwetten voor besluitvorming: je hebt een budget en één kans. Plan het op basis van bewijs.

Gate-regels: AI uit. Je hebt 3 x 10^10 FLOPs voor één run van het karaktermodel van de cursus, op dezelfde tekst als het grid. Kies een breedte (een macht van 2) en het aantal tokens dat het Budget dan toestaat. Gebruik het opgenomen grid zoals je wilt: fits, tabellen, beide.

De check voorspelt het verlies van jouw keuze en van de beste mogelijke keuze met de twee-variabele fit van de cursus, en slaagt wanneer die van jou binnen 0.02 van de beste is en je het Budget hebt uitgegeven (binnen 1%).

Woorden en symbolen in deze les
scaling law
hoe verlies daalt naarmate gewichten, data of compute groeien, meestal een krachtwet naar een vloer
token
hier, één voorspelling: één teken
FLOPs (6 N D)
trainingskosten: ongeveer 6 operaties per gewicht per token
Jij bent aan de beurt

Stel width en tokens in.

AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.