Программа курса Урок 209 из 246 · Модуль 20: Дешевая адаптация обученной модели
Модуль 20: Дешевая адаптация обученной модели

Большая замороженная матрица плюс две тонкие (Посмотрите это)

Почему это важно LoRA (Hu et al. 2021) это то как большинство моделей настраивается сегодня, потому что она обучает крошечную часть весов и оставляет оригинал нетронутым. Идея умещается на одной картинке.

Возьмите матрицу весов W размером d_in на d_out. Заморозьте ее. Рядом с ней поместите две тонкие обучаемые матрицы: A (d_in на r) и B (r на d_out) с малым rank r. Слой вычисляет

x W + (alpha / r) x A B

A B - это матрица d_in на d_out, изменение W, но она строится только из (d_in + d_out) x r чисел. B начинается с нуля, поэтому сначала модель точно совпадает с оригиналом.

У GPT есть четыре матрицы весов в каждом из своих 2 блоков: qkv (64 by 192), o (64 by 64), w1 (64 by 256) и w2 (256 by 64). Посмотрите на сцену, затем посчитайте.

Слова и символы в этом уроке
LoRA
low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
rank (r)
насколько тонкими являются две матрицы LoRA: (d_in + d_out) x r обучаемых весов на матрицу
Твоя очередь

Напишите lora_weights(shapes, r): количество обучаемых весов, которые LoRA добавляет для списка форм (d_in, d_out) при ранге r. Заполните shapes восемью целевыми матрицами GPT, затем установите counts для рангов 1, 4, 16 и 64, и overtakes: наименьший из этих рангов, при которых LoRA обучает больше весов, чем вся модель (107,072).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.