Wo die Parameter sind
Warum das wichtig ist "Ein Modell mit 7 Milliarden Parametern" ist nur diese Arithmetik bei einem größeren d. Die Fähigkeit zu zählen zeigt dir, wohin der Speicher geht und warum Breite teuer ist.
Pro Block sind die großen Matrizen Wq, Wk, Wv und Wo (vier d mal d: 4d zum Quadrat) und das feed-forward (d mal 4d und 4d mal d: 8d zum Quadrat). Das sind 12 d zum Quadrat, plus ein paar Vektoren der Länge d für die layer norms.
Außerhalb der Blöcke: die token embeddings (V by d, auch als output layer in diesem model wiederverwendet), die position vectors (ctx by d) und die finale layer norm.
Die Verdopplung d multipliziert die Blockparameter mit 4, aber nicht die Zeit mit 4. Die aufgezeichneten width-128 Durchläufe dauerten im Durchschnitt etwa 2,3 Mal so lange wie width 64 (zwischen 1,1 und 4 Mal von Durchlauf zu Durchlauf: die Wandzeit auf einer gemeinsam genutzten Maschine ist verrauscht), und width 32 war nicht schneller als width 64. In Modellen dieser Größe sind feste Kosten pro Schritt (Python, kleine Arrays) ein großer Teil der Zeit; das 4x zeigt sich erst, wenn die Matrixmultiplikationen dominieren.
Wörter und Symbole in dieser Lektion
- head
- one von H schmaleren Aufmerksamkeiten laufen nebeneinander, jede mit ihrem eigenen Muster
- Positionsvektor
- wurde zu jedem Token hinzugefügt, damit Attention die Reihenfolge erkennen kann
- layer norm
- normalisiere jeden Vektor einzeln: Mittelwert 0, Streuung 1, dann mal g plus b
- 12 d zum Quadrat
- die Parameter in den Matrizen eines Blocks
Schreibe count(V, d, layers, ctx), das die exakte Anzahl der Parameter dieses GPT zurückgibt (jeder Block hat 12 d squared + 4d: zwei layer norms mit g und b). Es muss mit den echten Modellen übereinstimmen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.