Die beste gebruik van 'n vaste begroting
Waarom dit saak maak Met 'n vaste rekenbegroting C, sien 'n groter model minder tokens (C = 6 N D). As dit te groot is, word dit honger; as dit te klein is, is dit vol voordat die begroting opraak. In 2022 het hierdie berekening (die "Chinchilla" papier) getoon dat die meeste groot modelle van daardie tyd veel te groot was vir die data waarop hulle opgelei is.
Pas beide effekte gelyktydig aan:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d pas by al 150 runs. Dan vir 'n begroting C, elke breedte N bepaal D = C / (6 N), en die formule voorspel die verlies: kies die breedte met die laagste voorspelling. scaling.params_of(width) gee 'n breedte se gewigte.
Waar die veld nou is Hoffmann et al. (2022, "Chinchilla") het hierdie selfde twee-veranderlike vorm by groot taalmodelle aangepas en die rekenwerk-optimale verdeling by ongeveer 20 opleidings-tokens per gewig gevind. Labe lei nou dikwels ver daardeur (veel meer tokens vir 'n kleiner model), omdat 'n kleiner model goedkoper is elke keer wat dit antwoord: rekenwerk-optimaal vir opleiding is nie optimaal vir gebruik nie. En wanneer hulle 'n model wyer maak, skaal hulle sy begin-gewigte en per-laag leerkoerse (muP, Yang et al. 2022) sodat die beste leerkoers wat op 'n klein model gevind is, steeds op die groot een werk: die probleem wat die "wyer modelle wil kleiner stappe hê" les van Module 13 gemeet het.
Woorde en simbole in hierdie les
- exponent (alpha, beta)
- hoe vinnig verlaag die verlies met meer gewigte (alpha) of meer data (beta)
- token
- hier, een voorspelling: een karakter
- FLOPs (6 N D)
- trainingskoste: ongeveer 6 operasies per gewig per token
- bereken-optimaal
- die verdeling van 'n vaste begroting tussen modelgrootte en data wat die laagste verlies gee
Pas die rooster in f. Skryf plan(f, budget) wat die breedte (‘n mag van 2 van 2 tot 4096) met die laagste voorspelde verlies teruggee. Vul choice in vir begrotings van 1e9, 1e10 en 1e11 FLOPs.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.