Программа курса Урок 158 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Контрольная задача: сломанный трансформер (ИИ выключен)

Почему это важно Это целый прямой проход GPT, написанный на движке курса, и в нём две неисправности. Обе классические, и каждая по отдельности обманывала настоящие команды.

ИИ-наставник выключен. Одна неисправность позволяет модели видеть символы, которые она должна предсказывать. Другая делает стопку гораздо труднее для обучения. Найдите и исправьте обе.

Слова и символы этого урока
query, key, value
что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
голова
одно из H более узких внимании, работающих бок о бок, каждое со своим узором
Твоя очередь

Исправьте logits. Изменение символа не должно менять ни одного предсказания для более ранних позиций, а после 200 шагов средние потери за последние 20 шагов должны быть ниже 2,65.

ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.