Kurrikulum Leson 220 van 246 · Module 21: Kyk binne in 'n model
Module 21: Kyk binne in 'n model

Sit een waarde terug: activation patching

Waarom dit saak maak Activation patching (Meng et al. 2022, Wang et al. 2022) verander "hierdie deel lyn op met die antwoord" na "hierdie deel dra die antwoord", deur een waarde van een run na 'n ander te skuif.

Twee insets wat in een karakter verskil:

  • clean: "die gradiënt van die los": die GPT gee die volgende karakter "s" 'n waarskynlikheid van 0.91.
  • beskadig: "die gradiënt van die bos": 0.39.

Hardloop die korrupte input, maar ruil op een plek en een posisie die vektor van die skoon hardloop in. As die waarskynlikheid van "s" terugspring na 0.91, het daardie vektor gedra wat die "l" vir die model gesê het. interp.patch(model, clean_ids, bad_ids, site, pos) doen die ruiling en gee die logits terug; interp.next_prob(logits, answer, model) lees die waarskynlikheid.

Probeer dit by

(voor blok 0, so net die embeddings), 'resid0' (tussen die blokke) en 'resid1', vir die laaste vyf posisies.'final'

Voorspel eerste: by 'resid1', word die "l" nog by sy eie posisie gedra, of iewers anders?

Woorde en simbole in hierdie les
aktivering van patching
hardloop een invoer met 'n waarde wat vanaf 'n ander invoer se uitvoering geneem word, om te sien wat daardie waarde dra
Jou beurt

Stel my_guess in op "own position" of "somewhere else". Vul restored[site] met 'n lys van vyf probabilities, een per posisie vanaf len(clean) - 5 tot by die einde. Stel dan where[site] in op die karakter van clean by die posisie wat dit herstel.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.