Regte spronge, of 'n listing van die metriek?
Waarom dit saak maak Opskrifte sê groot modelle kry skielik vermoëns by 'n sekere grootte: "emergence". Soms is die sprong werklik. Dikwels het die vermoë gladjies verbeter en het die metric dit skielik laat lyk (Schaeffer, Miranda en Koyejo, 2023). Om te weet wat wat is, bepaal of jy dit kan voorspel.
Die rooster het twee tellinge op dieselfde gehou teks aangeteken:
- Karakter-akkuratesse p: die deel van posisies waar die model se boonste raai vir die volgende karakter reg is. Dit styg glad met grootte, van 0.27 tot 0.53 by 1.5 miljoen tokens.
- Al 5 reg: die aandeel van posisies waar dit die volgende 5 karakters sonder foute skryf. Alles of niks nie.
As elk karakter reg sou wees met waarskynlikheid p onafhanklik, sou vyf op 'n ry reg wees p^5 van die tyd. Kontroleer dit teen die rooster eerste. Kyk dan wat die eksponent doen met 'n vaardigheid wat egalig verbeter. Hierdie klein modelle kom nooit ver genoeg om die volle effek te wys nie, so die tweede deel is 'n duidelik gemerkte illustrasie, nie 'n meting nie: 'n per-karakter akkuraatheid wat in tien gelyke stappe van 0.5 tot 0.95 styg.
Woorde en simbole in hierdie les
- exponent (alpha, beta)
- hoe vinnig verlaag die verlies met meer gewigte (alpha) of meer data (beta)
- token
- hier, een voorspelling: een karakter
- emergence
- an vermoë wat skynlik skielik by 'n sekere grootte verskyn; soms gemaak deur 'n alles-of-niks metriek
Vul pairs: vir elke breedte by 1.5 miljoen tokens, (p, p^5, gemeet alle-5-regs). Stel dan all10 op p^10 vir p_even, en late_share op die deel van alle10 se totale styging wat in die laaste 3 van die 10 stappe gebeur. Stel uiteindelik case.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.