Kurrikulum Leson 206 van 246 · Module 19: Groter, en hoeveel beter (skaleringswette)
Module 19: Groter, en hoeveel beter (skaleringswette)

Regte spronge, of 'n listing van die metriek?

Waarom dit saak maak Opskrifte sê groot modelle kry skielik vermoëns by 'n sekere grootte: "emergence". Soms is die sprong werklik. Dikwels het die vermoë gladjies verbeter en het die metric dit skielik laat lyk (Schaeffer, Miranda en Koyejo, 2023). Om te weet wat wat is, bepaal of jy dit kan voorspel.

Die rooster het twee tellinge op dieselfde gehou teks aangeteken:

  • Karakter-akkuratesse p: die deel van posisies waar die model se boonste raai vir die volgende karakter reg is. Dit styg glad met grootte, van 0.27 tot 0.53 by 1.5 miljoen tokens.
  • Al 5 reg: die aandeel van posisies waar dit die volgende 5 karakters sonder foute skryf. Alles of niks nie.

As elk karakter reg sou wees met waarskynlikheid p onafhanklik, sou vyf op 'n ry reg wees p^5 van die tyd. Kontroleer dit teen die rooster eerste. Kyk dan wat die eksponent doen met 'n vaardigheid wat egalig verbeter. Hierdie klein modelle kom nooit ver genoeg om die volle effek te wys nie, so die tweede deel is 'n duidelik gemerkte illustrasie, nie 'n meting nie: 'n per-karakter akkuraatheid wat in tien gelyke stappe van 0.5 tot 0.95 styg.

Woorde en simbole in hierdie les
exponent (alpha, beta)
hoe vinnig verlaag die verlies met meer gewigte (alpha) of meer data (beta)
token
hier, een voorspelling: een karakter
emergence
an vermoë wat skynlik skielik by 'n sekere grootte verskyn; soms gemaak deur 'n alles-of-niks metriek
Jou beurt

Vul pairs: vir elke breedte by 1.5 miljoen tokens, (p, p^5, gemeet alle-5-regs). Stel dan all10 op p^10 vir p_even, en late_share op die deel van alle10 se totale styging wat in die laaste 3 van die 10 stappe gebeur. Stel uiteindelik case.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.