Kurrikulum Leson 158 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Poort: 'n stukkende transformator (AI af)

Waarom dit saak maak Dit is 'n volledige GPT forward pass wat met die house engine geskryf is, en dit het twee foute. Albei is klassiek, en elkeen alleen het reeds regte spanne mislei.

AI tutor af. Een fout laat die model karakters sien wat dit moet voorspel. Die ander een maak die stack baie moeiliker om te train. Vind en herstel albei.

Woorde en simbole in hierdie les
query, sleutel, waarde
waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
head
one van H nouer aandages loop langs mekaar, elkeen met sy eie patroon
Jou beurt

Vix logits. Om 'n karakter te verander moet nie enige voorspelling vir vroeëre posisies verander nie, en na 200 stappe moet die gemiddelde verlies oor die laaste 20 stappe onder 2.65 wees.

AI af: geen tutor, wenke of uitgewerkte oplossing op hierdie een nie. Net jou eie denke.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.