Eine große gefrorene Matrix plus zwei dünne (Sieh es dir an)
Warum das wichtig ist LoRA (Hu et al. 2021) ist die Art und Weise, wie die meisten Modelle heute angepasst werden, weil es nur einen winzigen Bruchteil der Gewichte trainiert und das Original unberührt lässt. Die Idee passt in ein Bild.
Nimm eine Gewichtsmatrix W, d_in mal d_out. Friere sie ein. Lege daneben zwei dünne trainierbare Matrizen: A (d_in mal r) und B (r mal d_out), mit einem kleinen rank r. Die Schicht berechnet
x W + (alpha / r) x A B
A B ist eine vollständige d_in mal d_out Matrix, eine Änderung an W, aber sie wird nur aus (d_in + d_out) mal r Zahlen aufgebaut. B startet bei Null, also ist das Modell zuerst exakt das Original.
Das GPT hat vier Gewichtungsmatrizen in jedem seiner 2 Blöcke: qkv (64 mal 192), o (64 mal 64), w1 (64 mal 256) und w2 (256 mal 64). Schau dir die Szene an und zähle dann.
Wörter und Symbole in dieser Lektion
- LoRA
- low-rank adaptation: eine gefrorene Gewichtungsmatrix plus zwei dünne trainierbare Matrizen, x W + (alpha / r) x A B
- rank (r)
- wie dünn die zwei Matrizen von LoRA sind: (d_in + d_out) x r trainierbare Gewichte pro Matrix
Schreibe lora_weights(shapes, r): die Anzahl der trainierbaren Gewichte, die LoRA für eine Liste von (d_in, d_out) Formen bei Rang r hinzufügt. Fülle shapes mit den 8 Zielmatrizen der GPT, dann setze counts für die Ränge 1, 4, 16 und 64, und overtakes: den kleinsten dieser Ränge, bei dem LoRA mehr Gewichte trainiert als das ganze Modell (107,072).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.