Программа курса Урок 206 из 246 · Модуль 19: Больше и насколько лучше (законы масштабирования)
Модуль 19: Больше и насколько лучше (законы масштабирования)

Настоящие скачки или фокус метрики?

Почему это важно Заголовки пишут, что большие модели при каком-то размере внезапно обретают способности: "эмерджентность". Иногда скачок настоящий. Часто способность всё время плавно улучшалась, а метрика сделала так, что это выглядит внезапным (Schaeffer, Miranda and Koyejo, 2023). Знание того, где что, решает, можете ли вы это предсказать.

Сетка записала две оценки на одном и том же отложенном тексте:

  • Посимвольная точность p: доля позиций, где лучшая догадка модели о следующем символе верна. Она плавно растёт с размером, от 0,27 до 0,53 при 1,5 миллиона токенов.
  • Все 5 верны: доля позиций, где она пишет следующие 5 символов без ошибки. Всё или ничего.

Если бы каждый символ был верен с вероятностью p независимо, пять подряд были бы верны в доле p^5. Сначала сверьте это с сеткой. Затем посмотрите, что показатель степени делает с навыком, который улучшается равномерно. Эти маленькие модели никогда не заходят достаточно далеко, чтобы показать полный эффект, поэтому вторая часть - явно помеченная иллюстрация, а не измерение: посимвольная точность, растущая десятью равными шагами от 0,5 до 0,95.

Слова и символы этого урока
показатель (alpha, beta)
как быстро падают потери с ростом числа весов (alpha) или данных (beta)
токен
здесь - одно предсказание: один символ
эмерджентность
способность, которая будто внезапно появляется при каком-то размере; иногда её создаёт метрика "всё или ничего"
Твоя очередь

Заполните pairs: для каждой ширины при 1,5 миллиона токенов - (p, p^5, измеренное "все 5 верны"). Затем для иллюстрации присвойте all10 значение p^10 для p_even, а late_share - долю общего роста all10, приходящуюся на последние 3 из 10 шагов. Наконец, присвойте case.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.