Kurrikulum Leson 221 van 246 · Module 21: Kyk binne in 'n model
Module 21: Kyk binne in 'n model

Watter dele saak maak

Waarom dit saak maak Voordat jy 'n deel verduidelik, vind uit of dit iets doen. Om dele te verwyder (ablation) is die goedkoopste effek wat jy kan meet, en dit verander waarheen jy kyk.

Elke blok van die GPT het 'n attention deel (skryf 'attn_out0', 'attn_out1') en 'n MLP (skryf 'mlp_out0', 'mlp_out1'). Verwyder een te sewe (stel sy output na nul) en meet die styging in held-out loss. Verwyder dan elk van die vier koppe van blok 1 een te sewe met interp.head_effects(model, X, Y, 1).

Een risiko: as twee koppe dieselfde werk doen, wys die verwydering van een van hulle byna niks nie. Vergelyk dus ook die vier enkelkop-stygings, saamgetel, met die verwydering van al die aandag van blok 1 gelyktydig. As die saamgevoegde verwydering veel meer skade aanrig as die som, ondersteun hulle mekaar.

Woorde en simbole in hierdie les
patroon, effek, meganisme
drie soorte bewys: gekyk en gesien; dit verander en die output het verander; dit verduidelik en die verduideliking het nuwe gevalle voorspel
ablation
verwyder 'n deel (stel sy output na nul) en meet wat verander
Jou beurt

Vul rise vir die vier dele, heads1 met die vier enkelkop-opsteke, stel dan backup op True as die verwydering van al die aandagkoste van blok 1 meer as twee keer die som van sy koppe alleen kos, en biggest op die deel waarvan verwydering die meeste kos.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.