Обучите крошечный GPT вживую
Почему это важно Всё сходится вместе: эмбеддинги, позиции, многоголовое внимание с маской, residual-пути и layer norm, обученные с Adam на предсказании следующего символа. На вашем собственном CPU, за секунды.
Ширина 32, 2 блока, 4 головы, контекст 32 символа: около 29 000 параметров. 150 шагов по 16 фрагментов, несколько секунд на ноутбуке. Угадайте кривую: потери в начале и после 150 шагов. (Равномерная догадка по 95 символам - это ln 95 = 4,55.)
Затем сделайте из неё выборку. После 150 шагов она выдаёт буквенный суп с пробелами примерно в нужных местах; записанная модель ширины 64, обученная за 2 000 шагов, пишет текст в форме слов. Тот же код, больше вычислений.
Слова и символы этого урока
- attention
- softmax оценок query-key, используемый для усреднения values
- голова
- одно из H более узких внимании, работающих бок о бок, каждое со своим узором
- layer norm
- нормализует каждый вектор отдельно: среднее 0, разброс 1, затем умножить на g и прибавить b
Заполните my_guess, затем обучите через model.train (150 шагов, скорость обучения 0,003, батч 16) на corpus.TEXT и сохраните историю в hist. Вызов - hist = model.train(text, steps=..., lr=..., batch=...); он возвращает словарь, где hist['loss'] - потери на обучении, записываемые каждые 20 шагов (и на последнем шаге), а model.generate(prompt, n, temperature) потом пишет текст. (help(model.train) тоже это выводит.) Среднее последних 5 записанных потерь должно быть ниже 2,85.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.