Один блок трансформера, вручную
Почему это важно GPT - это один и тот же блок, сложенный стопкой. Напишите его на чистом NumPy, запустите с настоящими весами записанной модели, и если ваши числа совпадут с её собственными, вы понимаете каждую строку трансформера.
Посмотрите
Запустите анимацию. Блок берёт h (t позиций на d) и делает две вещи, каждая из которых прибавляется обратно к h (путь residual из модуля 6):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
Имена в записанной модели: qkv{l} хранит Wq, Wk и Wv бок о бок (d на 3d), o{l} - это Wo, g1{l}, b1{l} и g2{l}, b2{l} - две layer norm, w1{l}, w2{l} - feed-forward. Голова h использует столбцы от h × 16 до (h + 1) × 16 каждой из Q, K и V.
Слова и символы этого урока
- attention
- softmax оценок query-key, используемый для усреднения values
- голова
- одно из H более узких внимании, работающих бок о бок, каждое со своим узором
- layer norm
- нормализует каждый вектор отдельно: среднее 0, разброс 1, затем умножить на g и прибавить b
- блок трансформера
- h + attention(norm(h)), затем h + feed-forward(norm(h))
Напишите block(h, l) для одной последовательности (h размером t на d). Полная модель собрана за вас; её logits должны совпадать с model.logits.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.