Kurrikulum Leson 231 van 246 · Module 22: Beoordeel aansprake
Module 22: Beoordeel aansprake

Hoe jy 'n deel verwyder, verander die antwoord.

Waarom dit saak maak "Om hierdie deel te verwyder verhoog die verlies by X" klink soos 'n feit oor die deel. 'n Deel daarvan is 'n feit oor hoe dit verwyder is.

In Module 21 het jy dele van die GPT verwyder deur hul output na nul te stel. Maar die res van die netwerk het nooit 'n nul daar gesien tydens opleiding nie: nul mag 'n input wees wat dit nog nooit ontmoet het, so die skade meet die skok sowel as die verlies aan inligting. 'n Sagter verwydering vervang die output met sy average oor baie inputs (mean ablation): die deel hou ophou om enigiets oor hierdie input te dra, maar die volgende laag kry steeds 'n waarde van die gewoonlike grootte.

Meet albei vir die vier dele: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Die gemiddelde kom van cache[site].mean((0, 1)).

Voorspel eerste: vir blok 0 se MLP, sal mean ablation minder kos as nulstelling, of ongeveer dieselfde?

Woorde en simbole in hierdie les
beteken ablasie
vervang 'n deel se uitset met sy gemiddelde in plaas van nul
Jou beurt

Stel my_guess in op "less" of "same". Vul zero[site] en mean[site] met die styging in verlies. Stel most_overstated in op die deel waar nulstelling die effek die meeste oorskat.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.