Poort: plan een trainingsrun (AI uit)
Waarom dit ertoe doet Dit zijn de schaalwetten voor besluitvorming: je hebt een budget en één kans. Plan het op basis van bewijs.
Gate-regels: AI uit. Je hebt 3 x 10^10 FLOPs voor één run van het karaktermodel van de cursus, op dezelfde tekst als het grid. Kies een breedte (een macht van 2) en het aantal tokens dat het Budget dan toestaat. Gebruik het opgenomen grid zoals je wilt: fits, tabellen, beide.
De check voorspelt het verlies van jouw keuze en van de beste mogelijke keuze met de twee-variabele fit van de cursus, en slaagt wanneer die van jou binnen 0.02 van de beste is en je het Budget hebt uitgegeven (binnen 1%).
Woorden en symbolen in deze les
- scaling law
- hoe verlies daalt naarmate gewichten, data of compute groeien, meestal een krachtwet naar een vloer
- token
- hier, één voorspelling: één teken
- FLOPs (6 N D)
- trainingskosten: ongeveer 6 operaties per gewicht per token
Stel width en tokens in.
AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.