Большая замороженная матрица плюс две тонкие (Посмотрите это)
Почему это важно LoRA (Hu et al. 2021) это то как большинство моделей настраивается сегодня, потому что она обучает крошечную часть весов и оставляет оригинал нетронутым. Идея умещается на одной картинке.
Возьмите матрицу весов W размером d_in на d_out. Заморозьте ее. Рядом с ней поместите две тонкие обучаемые матрицы: A (d_in на r) и B (r на d_out) с малым rank r. Слой вычисляет
x W + (alpha / r) x A B
A B - это матрица d_in на d_out, изменение W, но она строится только из (d_in + d_out) x r чисел. B начинается с нуля, поэтому сначала модель точно совпадает с оригиналом.
У GPT есть четыре матрицы весов в каждом из своих 2 блоков: qkv (64 by 192), o (64 by 64), w1 (64 by 256) и w2 (256 by 64). Посмотрите на сцену, затем посчитайте.
Слова и символы в этом уроке
- LoRA
- low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
- rank (r)
- насколько тонкими являются две матрицы LoRA: (d_in + d_out) x r обучаемых весов на матрицу
Напишите lora_weights(shapes, r): количество обучаемых весов, которые LoRA добавляет для списка форм (d_in, d_out) при ранге r. Заполните shapes восемью целевыми матрицами GPT, затем установите counts для рангов 1, 4, 16 и 64, и overtakes: наименьший из этих рангов, при которых LoRA обучает больше весов, чем вся модель (107,072).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.