Программа курса Урок 210 из 246 · Модуль 20: Дешевая адаптация обученной модели
Модуль 20: Дешевая адаптация обученной модели

LoRA, создано

Почему это важноЕсли построить его один раз, становятся очевидными три вещи: почему оно изначально безобидно, почему его градиенты дешевы и почему исходные веса никогда не меняются.

Слой LoRA на движке курса: forward это x W + (alpha / r) x A B, при этом W заморожен. Движок сам вычисляет градиенты для A и B (ваш движок из модуля 4 тоже бы это сделал); W просто не должен обновляться, что вы проверяете.

Слова и символы в этом уроке
LoRA
low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
Твоя очередь

Напишите lora_forward(x, W, A, B, alpha) с операциями движка. Затем проверьте на малом слое в стартере: выход равен x W при B равном нулю; после одного обратного прохода W не обновляется, а A или B обновляются; и градиент A совпадает с nudging. Установите max_gap как максимальную разницу. Движок работает в float32, поэтому используйте nudge h = 1e-3 или больше: при 1e-4 изменение loss теряется при округлении и правильный градиент кажется неверным.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.