一个大的冻结矩阵加上两个细长的矩阵(看一看)
为什么重要 LoRA(Hu 等人 2021)是如今大多数模型被定制的方式,因为它只训练极小比例的权重,而让原始权重保持不变。这个想法用一张图就能装下。
取一个权重矩阵 W,d_in × d_out。冻结它。在它旁边,放上两个细长的可训练矩阵:A(d_in × r)和 B(r × d_out),它们有一个很小的秩 r。这一层计算
x W + (alpha / r) x A B
A B 是一个完整的 d_in × d_out 矩阵,是对 W 的一个改变,但它只由 (d_in + d_out) × r 个数字构成。B 从零开始,所以一开始模型和原来完全一样。
这个 GPT 在它的 2 个块中各有四个权重矩阵:qkv(64 × 192)、o(64 × 64)、w1(64 × 256)和 w2(256 × 64)。先看一看这个场景,然后数一数。
本课中的词语和符号
- LoRA
- 低秩适配:一个冻结的权重矩阵加上两个细长的可训练矩阵,x W + (alpha / r) x A B
- 秩(r)
- LoRA 的两个矩阵有多细:每个矩阵 (d_in + d_out) × r 个可训练权重
编写 lora_weights(shapes, r):对于一个由 (d_in, d_out) 形状组成的列表,在秩 r 时 LoRA 增加的可训练权重数量。用这个 GPT 的 8 个目标矩阵填写 shapes,然后为秩 1、4、16 和 64 设置 counts,并设置 overtakes:在这些秩中,LoRA 训练的权重比整个模型(107,072)还多的那个最小的秩。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。