Poort: een kapotte transformator (AI uit)
Waarom dit ertoe doet Dit is een volledige GPT forward pass geschreven met de house engine, en het heeft twee fouten. Beide zijn klassiek, en elk apart heeft echte teams misleid.
AI uit. Eén fout laat het model karakters zien die het moet voorspellen. De andere maakt de stack veel moeilijker om te trainen. Vind en herstel beide.
Woorden en symbolen in deze les
- query, key, value
- waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
- head
- one van H smallere aandachten draaien naast elkaar, elk met zijn eigen patroon
Fix logits. Het veranderen van een teken mag geen voorspelling voor eerdere posities veranderen, en na 200 stappen moet de gemiddelde loss over de laatste 20 stappen onder 2.65 zijn.
AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.