Hoe jy 'n deel verwyder, verander die antwoord.
Waarom dit saak maak "Om hierdie deel te verwyder verhoog die verlies by X" klink soos 'n feit oor die deel. 'n Deel daarvan is 'n feit oor hoe dit verwyder is.
In Module 21 het jy dele van die GPT verwyder deur hul output na nul te stel. Maar die res van die netwerk het nooit 'n nul daar gesien tydens opleiding nie: nul mag 'n input wees wat dit nog nooit ontmoet het, so die skade meet die skok sowel as die verlies aan inligting. 'n Sagter verwydering vervang die output met sy average oor baie inputs (mean ablation): die deel hou ophou om enigiets oor hierdie input te dra, maar die volgende laag kry steeds 'n waarde van die gewoonlike grootte.
Meet albei vir die vier dele: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Die gemiddelde kom van cache[site].mean((0, 1)).
Voorspel eerste: vir blok 0 se MLP, sal mean ablation minder kos as nulstelling, of ongeveer dieselfde?
Woorde en simbole in hierdie les
- beteken ablasie
- vervang 'n deel se uitset met sy gemiddelde in plaas van nul
Stel my_guess in op "less" of "same". Vul zero[site] en mean[site] met die styging in verlies. Stel most_overstated in op die deel waar nulstelling die effek die meeste oorskat.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.