Programma Les 142 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Waarom delen door de wortel van d

Waarom dit ertoe doet Elke transformer deelt zijn attention scores door de wortel van de key size. Laat het weg en attention stopt met mengen en de gradients verdwijnen bijna. Je zult meten waarom.

A dot product van twee willekeurige vectoren van lengte d telt d producten op. Elk heeft een spreiding van ongeveer 1, dus de som heeft een spreiding van ongeveer de wortel van d. Waarom dit ertoe doet: wanneer je onafhankelijke willekeurige getallen optelt, tellen hun spreidingen niet op, hun kwadraten wel (de kwadraten worden varianties genoemd). d producten, elk met variantie 1, geven variantie d, dus de spreiding is de wortel van d. Voor d = 64 is dat 8.

Scores die verspreid zijn over plus en min 8 of meer maken softmax bijna one-hot: één gewicht dicht bij 1, de rest dicht bij 0. Een one-hot softmax heeft kleine gradiënten: de helling van elke output ten opzichte van zijn eigen score is p(1 - p), wat dicht bij 0 is wanneer p dicht bij 0 of 1 is (de softmax-gradient les van Module 2 leidt dit af, en de backward-through-attention les van deze module gebruikt het), dus leert het model traag. Delen door de wortel van d brengt de spreiding terug naar ongeveer 1, wat d ook is.

Voorspel: wanneer d groeit van 4 naar 256, wat gebeurt er met het grootste gewicht, met en zonder de deling?

Woorden en symbolen in deze les
query, key, value
waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
let op
softmax van query-key scores, gebruikt om de waarden te middelen
Jij bent aan de beurt

Vul my_guess. Schrijf daarna top_weight(d, scaled): 2,000 willekeurige queries tegen 32 willekeurige keys elk (normale getallen, seed 0), het gemiddelde van het grootste softmax gewicht. Vul measured.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.