Kurrikulum Leson 203 van 246 · Module 19: Groter, en hoeveel beter (skaleringswette)
Module 19: Groter, en hoeveel beter (skaleringswette)

Gewigte, data of rekenkrag: wat hou dit terug?

Waarom dit saak maak Om meer op die verkeerde ding te spandeer koop niks nie. 'n Model wat van data ontneem word verbeter nie wanneer jy dit groter maak nie. 'n Klein model verbeter nie wanneer jy dit meer voer nie. Die rooster wys albei as jy weet waar om te kyk.

Kyk langs 'n ry van die rooster (een breedte, meer en meer data) en af 'n kolom (een hoeveelheid data, breër en breër modelle).

A-loop is data-beperk wanneer die breër model skaars help (of skade doen) by daardie hoeveelheid data. Dit is model-beperk wanneer meer data skaars help by daardie breedte.

Woorde en simbole in hierdie les
token
hier, een voorspelling: een karakter
data-beperk, model-beperk
as meer breedte, of meer data, help skaars
Jou beurt

Vul gain_wider in: vir 8,000 tokens en vir 1.5 miljoen tokens, die verliesval van breedte 256 na breedte 1024. Vul gain_more_data in: vir breedte 2 en vir breedte 1024, die verliesval van 512,000 tot 1.5 miljoen tokens. Stel dan verdict vir twee hoeke: "data-limited" of "model-limited".

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.