Рецепт для моделей последовательностей
Почему это важно Две проверки модуля 8 (потери в начале, запомнить один батч) по-прежнему работают. Модели последовательностей добавляют новые способы молча ломаться, и две дешёвые проверки ловят худшие из них до того, как вы потратите вычисления.
Модель клиники - крошечный GPT: ширина 16, 2 блока, 2 головы, 16 символов контекста, 200 шагов Adam на тексте курса. Она обучается за пару секунд, так что вы можете позволить себе исследовать.
Проверка 1: начальные потери
Свежая модель с маленькими весами распределяет догадки равномерно по V символам, поэтому её потери - ln(V). Для 95 символов это 4.55. Намного выше значит, что что-то неверно масштабировано; намного ниже значит, что модель получает помощь, которой у неё быть не должно.
Проверка 2: не подглядывать
Измените последний символ входа. Если меняется хоть одно предсказание для более ранней позиции, модель видит будущее (модуль 13), и каждое полученное вами число обучения слишком хорошо, чтобы быть правдой.
| Проба | Что она говорит | Здоровый запуск |
|---|---|---|
loss_curve(c) | Потери на обучении каждые 25 шагов и потери на невиданном тексте в конце. Всегда смотрите первым делом. | от 4.55 примерно до 2.9; на невиданном около 3.0 |
loss_at_init(c) | Потери до обучения. Свежая модель, угадывающая равномерно среди 95 символов, даёт ln(95). | 4.55 |
leak_check(c) | Может ли более поздний символ изменить более раннее предсказание? | False |
show_batch(c) | Один обучающий вход и его цель, как текст. | цель = вход, сдвинутый на один символ влево |
update_ratio(c) | После первого шага Adam - насколько сдвинулись веса относительно своего размера. Это не правило модуля 8: диапазон от 0.001 до 0.1 - для шагов обычного SGD. Первый шаг Adam сдвигает каждый вес примерно на скорость обучения, каким бы ни был его градиент, а эти веса начинаются около 0.02, поэтому 0.01 / 0.02 даёт около 0.5. Сравнивайте случай с этим здоровым запуском, а не с диапазоном модуля 8. | около 0.5 |
block_change(c) | Насколько первый блок меняет каждый вектор в начале. | около 0.3 |
Слова и символы этого урока
- ln(V)
- начальные потери модели, угадывающей равномерно среди V символов: 4.55 для 95 символов
- слишком хорошо, чтобы быть правдой
- потери на обучении намного лучше, чем у здорового запуска, а потери на невиданном тексте намного хуже
- изменение блоком
- насколько один блок меняет вектор в начале; около 1 значит, что он его заменил
Напишите expected_start(V) и my_leak_check(c), используя собственные _init, _logits и DATA клиники. Они должны совпадать с пробами клиники.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.