Kurrikulum Leson 211 van 246 · Module 20: Aanpas van 'n getoë model goedkoop
Module 20: Aanpas van 'n getoë model goedkoop

Hoe dun is genoeg? (rank)

Waarom dit saak maak Rank is LoRA se een regte instelling. As dit te dun is, kan dit nie die nuwe taak leer nie; na 'n sekere punt koop meer rank byna niks nie. Waar daardie punt lê is die moeite werd om te voorspel voordat jy daarvoor betaal.

Die kursus het LoRA op kode getoë, by rangs 1 tot 64, en volledige fine-tuning, 3 sade elk, 200 stappe (adapt.recorded()). Elke ry het die rang, die trainable weights, die code loss (nuut) en die English loss (oud).

Voorspel die kurwe

Voordat jy dit lees, raai die code loss by rangs 1, 4, 16 en 64. Ankers: voor opleiding 3.25; volledige fine-tuning ongeveer 2.19.

Woorde en simbole in hierdie les
fynemen
hou aan om 'n getoënde model op nuwe data te train
LoRA
low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
rang (r)
hoe dun LoRA se twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
Jou beurt

Vul my_guess (vier code losses), dan by_rank: vir rangs 1, 4, 16, 64 en "full", die gemiddelde code loss en die gemiddelde English loss oor die 3 seeds. Stel diminishing op True as die skuif van rang 16 na 64 minder as 'n kwart van wat die skuif van 1 na 4 wen, oplewer.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.