Насколько тонко достаточно? (rank)
Почему это важно Rank это единственный реальный параметр LoRA. Слишком маленький rank не позволит выучить новую задачу; после определенного момента увеличение rank почти ничего не дает. Стоит предсказать, где находится эта точка, прежде чем платить за нее.
Курс обучал LoRA на коде на рангах от 1 до 64 и полное дообучение, по 3 семени для каждого, 200 steps (adapt.recorded()). В каждой строке указаны rank, trainable weights, code loss (new) и English loss (old).
Вызовите Curve
Перед тем как прочитать их, угадайте код потерь на рангах 1, 4, 16 и 64. Якоря: до обучения 3.25; полное дообучение около 2.19.
Слова и символы в этом уроке
- fine-tuning
- продолжение обучения обученной модели на новых данных
- LoRA
- low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
- rank (r)
- насколько тонкими являются две матрицы LoRA: (d_in + d_out) x r обучаемых весов на матрицу
Заполните my_guess (четыре потери кода), затем by_rank: для рангов 1, 4, 16, 64 и "full" вычислите среднюю потерю кода и среднюю потерю английского языка по 3 сидам. Установите diminishing в значение True, если переход от ранга 16 к 64 дает меньше четверти того, что дает переход от 1 к 4.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.