Угадайте более крупную модель
Почему это важно Обучение большой модели стоит месяцев и миллионов. Прежде чем кто-то это потратит, предсказывают, насколько хороша она будет, по маленьким прогонам. Удивительный факт, стоящий за бумом ИИ, в том, что предсказание обычно работает. Сначала посмотрите, насколько хороша ваша собственная интуиция.
Модели в этом модуле - небольшие символьные модели: они читают 8 символов и предсказывают следующий. Их размер задаёт одно число, ширина скрытого слоя. Курс обучил 150 таких (10 ширин, 5 объёмов данных, по 3 seed) на 1,5 миллиона символов текста собственных уроков и измерил потери каждой на 100 000 символов, которых она никогда не видела.
Модель ширины 128 (24 401 вес), обученная на 1,5 миллиона токенов, достигает потерь на отложенных данных около 1,86. Токен здесь - одно предсказание: один символ.
Прежде чем смотреть: у модели ширины 1024 в 7,7 раза больше весов. Обученная на тех же данных, каких потерь она достигнет? Для масштаба: предсказание каждого символа как равновероятного даёт 4,42, а лучшие из этих моделей опускаются ниже 2.
Слова и символы этого урока
- токен
- здесь - одно предсказание: один символ
Присвойте my_guess ваши предсказанные потери на отложенных данных для ширины 1024 при 1,5 миллиона токенов. Затем присвойте actual по записанным прогонам (среднее по 3 seed) и error - насколько вы ошиблись (actual минус догадка).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.