Hoe je een deel verwijdert verandert het antwoord
Waarom dit ertoe doet "Het verwijderen van dit deel verhoogt de loss met X" klinkt als een feit over het deel. Een deel ervan is een feit over hoe het is verwijderd.
In Module 21 heb je delen van de GPT verwijderd door hun output op nul te zetten. Maar de rest van het netwerk zag tijdens de training nooit een nul daar: nul kan een input zijn die het nooit heeft ontmoet, dus de schade meet de schok evenals het verlies van informatie. Een zachtere verwijdering vervangt de output door zijn average over veel inputs (mean ablation): het deel stopt met het dragen van iets over deze input, maar de volgende laag krijgt nog steeds een waarde van de gebruikelijke grootte.
Meet beide voor de vier delen: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Het gemiddelde komt uit cache[site].mean((0, 1)).
Voorspel eerst: voor de MLP van blok 0, zal mean ablation minder kosten dan zeroing, of ongeveer hetzelfde?
Woorden en symbolen in deze les
- betekenis van ablation
- vervang de output van een deel door het gemiddelde in plaats van nul
Zet my_guess op "less" of "same". Vul zero[site] en mean[site] in met de stijging in loss. Zet most_overstated op het deel waar zeroing het effect het meest overschat.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.