Освоение нового, забывание старого
Почему это важно Каждую полезную модель адаптируют: к документам компании, к стилю кодирования, к языку. Очевидный путь, продолжать обучение на новых данных, имеет стоимость, которую никто не видит, пока не становится слишком поздно: модель становится хуже в том, что она уже знала.
Записанный GPT курса изучил английский язык по тексту урока курса. Его новая задача: код Python, взятый из выполненных решений курса Python. Перед обучением он получает 1.70 на отложенном английском и 3.25 на отложенном коде (он едва видел код).
Обучите каждый вес на коде в течение 60 шагов по 8 окон (максимум, который помещается в уроке в браузере) и измерьте оба значения снова. Сначала посмотрите на сцену: два значения loss шаг за шагом для этого полного fine-tune и для более дешевого метода, который вы построите в этом модуле.
Сначала сделайте прогноз: после 60 шагов на коде останется ли английский loss примерно таким же или он вырастет?
Присвойте my_guess значение "same" или "rises". Заполните before и after через adapt.losses(model) (потери на английском, потери на коде) вокруг adapt.train(model, code_train, steps=60, batch=8).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.