Brede modellen willen kleinere stappen
Waarom dit ertoe doet De learning rate die werkt voor een klein model kan een groter model verpesten. Teams die grote modellen trainen geven echt geld uit om dit uit te vinden; je kunt het lezen uit de recorded runs.
Het opgenomen gpt-width-lr experiment trainde de kleine GPT bij breedtes 32, 64 en 128, elk met leerpercentages 0.001, 0.003 en 0.01, voor 2,000 stappen, met drie seeds elk, en mat de loss op de vastgehouden tekst aan het einde.
Voorspel voordat je kijkt: welke learning rate is het beste voor het breedste model, 128?
Woorden en symbolen in deze les
- query, key, value
- waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
Zet my_guess op een van 0.001, 0.003 of 0.01, en vul daarna mean_loss: (width, lr) in met de gemiddelde uiteindelijke held-out loss over de drie seeds (exp.seeds(d=..., lr=...) geeft de drie runs; de uiteindelijke held-out loss van elke run is run.val_loss[-1][1]). Vul daarna best_lr: width in met de learning rate met de laagste gemiddelde waarde.
Gebruik dan de noise rule van Module 9 om te zeggen welke instellingen echt verschillen. Met drie seeds elk verschillen twee gemiddelden echt alleen als de kloof meer is dan ongeveer 2 × s × sqrt(2/3), waarbij s de grotere van de seed spreads van de twee instellingen is (np.std van de drie waarden). Alles wat dichterbij is is een gelijkspel.
ties: width naar de lijst van learning rates die gelijk staan aan de beste van die width (de beste is meegeleverd).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.