Programma Les 154 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Brede modellen willen kleinere stappen

Waarom dit ertoe doet De learning rate die werkt voor een klein model kan een groter model verpesten. Teams die grote modellen trainen geven echt geld uit om dit uit te vinden; je kunt het lezen uit de recorded runs.

Het opgenomen gpt-width-lr experiment trainde de kleine GPT bij breedtes 32, 64 en 128, elk met leerpercentages 0.001, 0.003 en 0.01, voor 2,000 stappen, met drie seeds elk, en mat de loss op de vastgehouden tekst aan het einde.

Voorspel voordat je kijkt: welke learning rate is het beste voor het breedste model, 128?

Woorden en symbolen in deze les
query, key, value
waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
Jij bent aan de beurt

Zet my_guess op een van 0.001, 0.003 of 0.01, en vul daarna mean_loss: (width, lr) in met de gemiddelde uiteindelijke held-out loss over de drie seeds (exp.seeds(d=..., lr=...) geeft de drie runs; de uiteindelijke held-out loss van elke run is run.val_loss[-1][1]). Vul daarna best_lr: width in met de learning rate met de laagste gemiddelde waarde.

Gebruik dan de noise rule van Module 9 om te zeggen welke instellingen echt verschillen. Met drie seeds elk verschillen twee gemiddelden echt alleen als de kloof meer is dan ongeveer 2 × s × sqrt(2/3), waarbij s de grotere van de seed spreads van de twee instellingen is (np.std van de drie waarden). Alles wat dichterbij is is een gelijkspel.

ties: width naar de lijst van learning rates die gelijk staan aan de beste van die width (de beste is meegeleverd).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.