Программа курса Урок 213 из 246 · Модуль 20: Дешевая адаптация обученной модели
Модуль 20: Дешевая адаптация обученной модели

Большой учитель, маленький студент (дистилляция)

Почему это важноМаленькие модели дешевы в работе. Дистилляция (Hinton, Vinyals and Dean, 2015) обучает маленькую модель копировать полные ответы большой модели, а не только правильный ответ: "вероятно e, возможно a, точно не z". Эти мягкие ответы несут больше информации на пример, чем текст сам по себе.

Студент: GPT шириной 16 (около 8,000 весов). Учитель: GPT шириной 64. Loss смешивает две части: половина это обычная cross-entropy с текстом, половина это cross-entropy с вероятностями учителя, обе смягчены температурой 2 так чтобы вторые варианты учителя учитывались.

Курс обучал студента обоими способами, 3 seeds, и записывал held-out English loss на 300, 1000 и 3000 steps.

Сначала предскажите: на 300 шагах победит ли обученный студент того, кто обучался самостоятельно? И на 3000?

Слова и символы в этом уроке
LoRA
low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
distillation
обучение маленького студента копировать полные вероятности большого учителя
temperature (distillation)
деление баллов перед softmax так что вторые варианты учитываются больше
Твоя очередь

Присвойте guess для 300 и 3000 шагов значение "taught wins", "alone wins" или "no clear difference". Затем заполните gap: для каждого из 300, 1000 и 3000 шагов - среднее alone минус среднее taught (положительное значит, что дистилляция помогла), и задайте verdict по нему с правилом: разрыв меньше 0,03 в любую сторону - это no clear difference.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.