Клиника: хорошая модель пишет плохо
Почему это важно Обученная модель всё равно может выдавать мусор, если код вокруг неё неверен. Эти неисправности живут в коде сэмплирования, а не в весах, и люди днями переобучают, прежде чем заглянуть туда.
Каждый случай ниже использует одну и ту же записанную модель ширины 64, которая пишет разумный текст при температуре 0.8. В каждом случае одна неисправность в том, как текст сэмплируется или декодируется:
- too_cold: температура около 0. Модель всегда берёт свой любимый следующий символ и попадает в петлю.
- too_hot: температура намного выше 1. Распределение сплющено так, что редкие символы выходят так же часто, как буквы.
- shifted_decode: id превращаются обратно в символы с алфавитом, сдвинутым на один, поэтому хороший сэмпл читается как шифр: каждый пробел становится "!".
Пробы: sample(c) показывает текст; repeat_share(text) и space_share(text) его измеряют.
Заполните diagnosis и fixes для случаев A, B и C. После вашего исправления каждая настройка должна совпадать со здоровой, а сэмпл снова должен читаться как текст.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.