Программа курса Урок 232 из 246 · Модуль 22: Оценка утверждений
Модуль 22: Оценка утверждений

Один seed - это анекдот

Почему это важно Обучение одной и той же модели дважды с разными случайными seed даёт разные результаты. Разница между двумя моделями меньше этого разброса - не результат, а один прогон не может сказать, насколько велик разброс.

Утверждение: "при 8 000 токенов ширина 1024 обгоняет ширину 512", подкреплённое одним прогоном каждой (seed 0: 2,793 против 2,799). Курс записал по 3 seed каждой.

Простое правило для "A обгоняет B" при нескольких seed у каждой: возьмите разность средних и её стандартную ошибку (насколько сдвинулась бы эта разность, если перезапустить seed), sqrt(var(A) / nA + var(B) / nB) с выборочной дисперсией (ddof=1). Считайте это показанным, когда разность больше 2 стандартных ошибок. judge.standard_error(a, b) вычисляет её.

Сначала предскажите: при трёх seed обгоняет ли ширина 1024 всё ещё 512 при 8 000 токенов?

Слова и символы этого урока
seed
число, которое фиксирует случайные выборы прогона; другой seed даёт другой результат
стандартная ошибка
насколько сдвинулась бы измеренная разность, если перезапустить seed
Твоя очередь

Присвойте my_guess значение "yes" или "no". Для 8 000 и 1 500 000 токенов заполните diff[tokens] (средние потери ширины 512 минус средние потери ширины 1024: положительное значит, что 1024 лучше) и two_se[tokens]. Присвойте verdict[tokens] значение "shown" или "not shown".

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.