Контрольная задача: сломанный трансформер (ИИ выключен)
Почему это важно Это целый прямой проход GPT, написанный на движке курса, и в нём две неисправности. Обе классические, и каждая по отдельности обманывала настоящие команды.
ИИ-наставник выключен. Одна неисправность позволяет модели видеть символы, которые она должна предсказывать. Другая делает стопку гораздо труднее для обучения. Найдите и исправьте обе.
Слова и символы этого урока
- query, key, value
- что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
- голова
- одно из H более узких внимании, работающих бок о бок, каждое со своим узором
Исправьте logits. Изменение символа не должно менять ни одного предсказания для более ранних позиций, а после 200 шагов средние потери за последние 20 шагов должны быть ниже 2,65.
ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.