Программа курса Урок 153 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Обучите крошечный GPT вживую

Почему это важно Всё сходится вместе: эмбеддинги, позиции, многоголовое внимание с маской, residual-пути и layer norm, обученные с Adam на предсказании следующего символа. На вашем собственном CPU, за секунды.

Ширина 32, 2 блока, 4 головы, контекст 32 символа: около 29 000 параметров. 150 шагов по 16 фрагментов, несколько секунд на ноутбуке. Угадайте кривую: потери в начале и после 150 шагов. (Равномерная догадка по 95 символам - это ln 95 = 4,55.)

Затем сделайте из неё выборку. После 150 шагов она выдаёт буквенный суп с пробелами примерно в нужных местах; записанная модель ширины 64, обученная за 2 000 шагов, пишет текст в форме слов. Тот же код, больше вычислений.

Слова и символы этого урока
attention
softmax оценок query-key, используемый для усреднения values
голова
одно из H более узких внимании, работающих бок о бок, каждое со своим узором
layer norm
нормализует каждый вектор отдельно: среднее 0, разброс 1, затем умножить на g и прибавить b
Твоя очередь

Заполните my_guess, затем обучите через model.train (150 шагов, скорость обучения 0,003, батч 16) на corpus.TEXT и сохраните историю в hist. Вызов - hist = model.train(text, steps=..., lr=..., batch=...); он возвращает словарь, где hist['loss'] - потери на обучении, записываемые каждые 20 шагов (и на последнем шаге), а model.generate(prompt, n, temperature) потом пишет текст. (help(model.train) тоже это выводит.) Среднее последних 5 записанных потерь должно быть ниже 2,85.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.