Hoe dun is genoeg? (rank)
Waarom dit saak maak Rank is LoRA se een regte instelling. As dit te dun is, kan dit nie die nuwe taak leer nie; na 'n sekere punt koop meer rank byna niks nie. Waar daardie punt lê is die moeite werd om te voorspel voordat jy daarvoor betaal.
Die kursus het LoRA op kode getoë, by rangs 1 tot 64, en volledige fine-tuning, 3 sade elk, 200 stappe (adapt.recorded()). Elke ry het die rang, die trainable weights, die code loss (nuut) en die English loss (oud).
Voorspel die kurwe
Voordat jy dit lees, raai die code loss by rangs 1, 4, 16 en 64. Ankers: voor opleiding 3.25; volledige fine-tuning ongeveer 2.19.
Woorde en simbole in hierdie les
- fynemen
- hou aan om 'n getoënde model op nuwe data te train
- LoRA
- low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
- rang (r)
- hoe dun LoRA se twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
Vul my_guess (vier code losses), dan by_rank: vir rangs 1, 4, 16, 64 en "full", die gemiddelde code loss en die gemiddelde English loss oor die 3 seeds. Stel diminishing op True as die skuif van rang 16 na 64 minder as 'n kwart van wat die skuif van 1 na 4 wen, oplewer.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.