Программа курса Урок 162 из 246 · Модуль 14: Клиника запусков II
Модуль 14: Клиника запусков II

Клиника: хорошая модель пишет плохо

Почему это важно Обученная модель всё равно может выдавать мусор, если код вокруг неё неверен. Эти неисправности живут в коде сэмплирования, а не в весах, и люди днями переобучают, прежде чем заглянуть туда.

Каждый случай ниже использует одну и ту же записанную модель ширины 64, которая пишет разумный текст при температуре 0.8. В каждом случае одна неисправность в том, как текст сэмплируется или декодируется:

  • too_cold: температура около 0. Модель всегда берёт свой любимый следующий символ и попадает в петлю.
  • too_hot: температура намного выше 1. Распределение сплющено так, что редкие символы выходят так же часто, как буквы.
  • shifted_decode: id превращаются обратно в символы с алфавитом, сдвинутым на один, поэтому хороший сэмпл читается как шифр: каждый пробел становится "!".

Пробы: sample(c) показывает текст; repeat_share(text) и space_share(text) его измеряют.

Твоя очередь

Заполните diagnosis и fixes для случаев A, B и C. После вашего исправления каждая настройка должна совпадать со здоровой, а сэмпл снова должен читаться как текст.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.