Il modo in cui togli una parte cambia la risposta
Perché è importante "Togliere questa parte alza la loss di X" sembra un fatto sulla parte. In parte è un fatto su come è stata tolta.
Nel Modulo 21 hai tolto parti del GPT mettendo a zero il loro output. Ma il resto della rete non ha mai visto uno zero lì durante l'addestramento: lo zero può essere un input che non ha mai incontrato, quindi il danno misura lo shock oltre alla perdita di informazione. Una rimozione più delicata sostituisce l'output con la sua media su molti input (mean ablation): la parte smette di portare qualcosa su questo input, ma il layer successivo riceve comunque un valore della grandezza solita.
Misura entrambe per le quattro parti: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. La media viene da cache[site].mean((0, 1)).
Prima prevedi: per l'MLP del blocco 0, la mean ablation costerà meno dell'azzeramento, o più o meno lo stesso?
Parole e simboli di questa lezione
- mean ablation
- sostituire l'output di una parte con la sua media invece che con zero
Imposta my_guess su "less" o "same". Riempi zero[site] e mean[site] con l'aumento della loss. Imposta most_overstated sulla parte in cui l'azzeramento esagera di più l'effetto.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.