Большой учитель, маленький студент (дистилляция)
Почему это важноМаленькие модели дешевы в работе. Дистилляция (Hinton, Vinyals and Dean, 2015) обучает маленькую модель копировать полные ответы большой модели, а не только правильный ответ: "вероятно e, возможно a, точно не z". Эти мягкие ответы несут больше информации на пример, чем текст сам по себе.
Студент: GPT шириной 16 (около 8,000 весов). Учитель: GPT шириной 64. Loss смешивает две части: половина это обычная cross-entropy с текстом, половина это cross-entropy с вероятностями учителя, обе смягчены температурой 2 так чтобы вторые варианты учителя учитывались.
Курс обучал студента обоими способами, 3 seeds, и записывал held-out English loss на 300, 1000 и 3000 steps.
Сначала предскажите: на 300 шагах победит ли обученный студент того, кто обучался самостоятельно? И на 3000?
Слова и символы в этом уроке
- LoRA
- low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
- distillation
- обучение маленького студента копировать полные вероятности большого учителя
- temperature (distillation)
- деление баллов перед softmax так что вторые варианты учитываются больше
Присвойте guess для 300 и 3000 шагов значение "taught wins", "alone wins" или "no clear difference". Затем заполните gap: для каждого из 300, 1000 и 3000 шагов - среднее alone минус среднее taught (положительное значит, что дистилляция помогла), и задайте verdict по нему с правилом: разрыв меньше 0,03 в любую сторону - это no clear difference.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.