Программа курса Урок 151 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Один блок трансформера, вручную

Почему это важно GPT - это один и тот же блок, сложенный стопкой. Напишите его на чистом NumPy, запустите с настоящими весами записанной модели, и если ваши числа совпадут с её собственными, вы понимаете каждую строку трансформера.

Посмотрите

Запустите анимацию. Блок берёт h (t позиций на d) и делает две вещи, каждая из которых прибавляется обратно к h (путь residual из модуля 6):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

Имена в записанной модели: qkv{l} хранит Wq, Wk и Wv бок о бок (d на 3d), o{l} - это Wo, g1{l}, b1{l} и g2{l}, b2{l} - две layer norm, w1{l}, w2{l} - feed-forward. Голова h использует столбцы от h × 16 до (h + 1) × 16 каждой из Q, K и V.

Слова и символы этого урока
attention
softmax оценок query-key, используемый для усреднения values
голова
одно из H более узких внимании, работающих бок о бок, каждое со своим узором
layer norm
нормализует каждый вектор отдельно: среднее 0, разброс 1, затем умножить на g и прибавить b
блок трансформера
h + attention(norm(h)), затем h + feed-forward(norm(h))
Твоя очередь

Напишите block(h, l) для одной последовательности (h размером t на d). Полная модель собрана за вас; её logits должны совпадать с model.logits.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.