Gewigte, data of rekenkrag: wat hou dit terug?
Waarom dit saak maak Om meer op die verkeerde ding te spandeer koop niks nie. 'n Model wat van data ontneem word verbeter nie wanneer jy dit groter maak nie. 'n Klein model verbeter nie wanneer jy dit meer voer nie. Die rooster wys albei as jy weet waar om te kyk.
Kyk langs 'n ry van die rooster (een breedte, meer en meer data) en af 'n kolom (een hoeveelheid data, breër en breër modelle).
A-loop is data-beperk wanneer die breër model skaars help (of skade doen) by daardie hoeveelheid data. Dit is model-beperk wanneer meer data skaars help by daardie breedte.
Woorde en simbole in hierdie les
- token
- hier, een voorspelling: een karakter
- data-beperk, model-beperk
- as meer breedte, of meer data, help skaars
Vul gain_wider in: vir 8,000 tokens en vir 1.5 miljoen tokens, die verliesval van breedte 256 na breedte 1024. Vul gain_more_data in: vir breedte 2 en vir breedte 1024, die verliesval van 512,000 tot 1.5 miljoen tokens. Stel dan verdict vir twee hoeke: "data-limited" of "model-limited".
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.