Watter dele saak maak
Waarom dit saak maak Voordat jy 'n deel verduidelik, vind uit of dit iets doen. Om dele te verwyder (ablation) is die goedkoopste effek wat jy kan meet, en dit verander waarheen jy kyk.
Elke blok van die GPT het 'n attention deel (skryf 'attn_out0', 'attn_out1') en 'n MLP (skryf 'mlp_out0', 'mlp_out1'). Verwyder een te sewe (stel sy output na nul) en meet die styging in held-out loss. Verwyder dan elk van die vier koppe van blok 1 een te sewe met interp.head_effects(model, X, Y, 1).
Een risiko: as twee koppe dieselfde werk doen, wys die verwydering van een van hulle byna niks nie. Vergelyk dus ook die vier enkelkop-stygings, saamgetel, met die verwydering van al die aandag van blok 1 gelyktydig. As die saamgevoegde verwydering veel meer skade aanrig as die som, ondersteun hulle mekaar.
Woorde en simbole in hierdie les
- patroon, effek, meganisme
- drie soorte bewys: gekyk en gesien; dit verander en die output het verander; dit verduidelik en die verduideliking het nuwe gevalle voorspel
- ablation
- verwyder 'n deel (stel sy output na nul) en meet wat verander
Vul rise vir die vier dele, heads1 met die vier enkelkop-opsteke, stel dan backup op True as die verwydering van al die aandagkoste van blok 1 meer as twee keer die som van sy koppe alleen kos, en biggest op die deel waarvan verwydering die meeste kos.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.