Настоящие скачки или фокус метрики?
Почему это важно Заголовки пишут, что большие модели при каком-то размере внезапно обретают способности: "эмерджентность". Иногда скачок настоящий. Часто способность всё время плавно улучшалась, а метрика сделала так, что это выглядит внезапным (Schaeffer, Miranda and Koyejo, 2023). Знание того, где что, решает, можете ли вы это предсказать.
Сетка записала две оценки на одном и том же отложенном тексте:
- Посимвольная точность p: доля позиций, где лучшая догадка модели о следующем символе верна. Она плавно растёт с размером, от 0,27 до 0,53 при 1,5 миллиона токенов.
- Все 5 верны: доля позиций, где она пишет следующие 5 символов без ошибки. Всё или ничего.
Если бы каждый символ был верен с вероятностью p независимо, пять подряд были бы верны в доле p^5. Сначала сверьте это с сеткой. Затем посмотрите, что показатель степени делает с навыком, который улучшается равномерно. Эти маленькие модели никогда не заходят достаточно далеко, чтобы показать полный эффект, поэтому вторая часть - явно помеченная иллюстрация, а не измерение: посимвольная точность, растущая десятью равными шагами от 0,5 до 0,95.
Слова и символы этого урока
- показатель (alpha, beta)
- как быстро падают потери с ростом числа весов (alpha) или данных (beta)
- токен
- здесь - одно предсказание: один символ
- эмерджентность
- способность, которая будто внезапно появляется при каком-то размере; иногда её создаёт метрика "всё или ничего"
Заполните pairs: для каждой ширины при 1,5 миллиона токенов - (p, p^5, измеренное "все 5 верны"). Затем для иллюстрации присвойте all10 значение p^10 для p_even, а late_share - долю общего роста all10, приходящуюся на последние 3 из 10 шагов. Наконец, присвойте case.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.