Programma Les 231 van 246 · Module 22: Claims beoordelen
Module 22: Claims beoordelen

Hoe je een deel verwijdert verandert het antwoord

Waarom dit ertoe doet "Het verwijderen van dit deel verhoogt de loss met X" klinkt als een feit over het deel. Een deel ervan is een feit over hoe het is verwijderd.

In Module 21 heb je delen van de GPT verwijderd door hun output op nul te zetten. Maar de rest van het netwerk zag tijdens de training nooit een nul daar: nul kan een input zijn die het nooit heeft ontmoet, dus de schade meet de schok evenals het verlies van informatie. Een zachtere verwijdering vervangt de output door zijn average over veel inputs (mean ablation): het deel stopt met het dragen van iets over deze input, maar de volgende laag krijgt nog steeds een waarde van de gebruikelijke grootte.

Meet beide voor de vier delen: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Het gemiddelde komt uit cache[site].mean((0, 1)).

Voorspel eerst: voor de MLP van blok 0, zal mean ablation minder kosten dan zeroing, of ongeveer hetzelfde?

Woorden en symbolen in deze les
betekenis van ablation
vervang de output van een deel door het gemiddelde in plaats van nul
Jij bent aan de beurt

Zet my_guess op "less" of "same". Vul zero[site] en mean[site] in met de stijging in loss. Zet most_overstated op het deel waar zeroing het effect het meest overschat.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.