Kurrikulum Leson 204 van 246 · Module 19: Groter, en hoeveel beter (skaleringswette)
Module 19: Groter, en hoeveel beter (skaleringswette)

Die beste gebruik van 'n vaste begroting

Waarom dit saak maak Met 'n vaste rekenbegroting C, sien 'n groter model minder tokens (C = 6 N D). As dit te groot is, word dit honger; as dit te klein is, is dit vol voordat die begroting opraak. In 2022 het hierdie berekening (die "Chinchilla" papier) getoon dat die meeste groot modelle van daardie tyd veel te groot was vir die data waarop hulle opgelei is.

Pas beide effekte gelyktydig aan:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d pas by al 150 runs. Dan vir 'n begroting C, elke breedte N bepaal D = C / (6 N), en die formule voorspel die verlies: kies die breedte met die laagste voorspelling. scaling.params_of(width) gee 'n breedte se gewigte.

Waar die veld nou is Hoffmann et al. (2022, "Chinchilla") het hierdie selfde twee-veranderlike vorm by groot taalmodelle aangepas en die rekenwerk-optimale verdeling by ongeveer 20 opleidings-tokens per gewig gevind. Labe lei nou dikwels ver daardeur (veel meer tokens vir 'n kleiner model), omdat 'n kleiner model goedkoper is elke keer wat dit antwoord: rekenwerk-optimaal vir opleiding is nie optimaal vir gebruik nie. En wanneer hulle 'n model wyer maak, skaal hulle sy begin-gewigte en per-laag leerkoerse (muP, Yang et al. 2022) sodat die beste leerkoers wat op 'n klein model gevind is, steeds op die groot een werk: die probleem wat die "wyer modelle wil kleiner stappe hê" les van Module 13 gemeet het.

Woorde en simbole in hierdie les
exponent (alpha, beta)
hoe vinnig verlaag die verlies met meer gewigte (alpha) of meer data (beta)
token
hier, een voorspelling: een karakter
FLOPs (6 N D)
trainingskoste: ongeveer 6 operasies per gewig per token
bereken-optimaal
die verdeling van 'n vaste begroting tussen modelgrootte en data wat die laagste verlies gee
Jou beurt

Pas die rooster in f. Skryf plan(f, budget) wat die breedte (‘n mag van 2 van 2 tot 4096) met die laagste voorspelde verlies teruggee. Vul choice in vir begrotings van 1e9, 1e10 en 1e11 FLOPs.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.