LoRA, создано
Почему это важноЕсли построить его один раз, становятся очевидными три вещи: почему оно изначально безобидно, почему его градиенты дешевы и почему исходные веса никогда не меняются.
Слой LoRA на движке курса: forward это x W + (alpha / r) x A B, при этом W заморожен. Движок сам вычисляет градиенты для A и B (ваш движок из модуля 4 тоже бы это сделал); W просто не должен обновляться, что вы проверяете.
Слова и символы в этом уроке
- LoRA
- low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
Напишите lora_forward(x, W, A, B, alpha) с операциями движка. Затем проверьте на малом слое в стартере: выход равен x W при B равном нулю; после одного обратного прохода W не обновляется, а A или B обновляются; и градиент A совпадает с nudging. Установите max_gap как максимальную разницу. Движок работает в float32, поэтому используйте nudge h = 1e-3 или больше: при 1e-4 изменение loss теряется при округлении и правильный градиент кажется неверным.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.