Один seed - это анекдот
Почему это важно Обучение одной и той же модели дважды с разными случайными seed даёт разные результаты. Разница между двумя моделями меньше этого разброса - не результат, а один прогон не может сказать, насколько велик разброс.
Утверждение: "при 8 000 токенов ширина 1024 обгоняет ширину 512", подкреплённое одним прогоном каждой (seed 0: 2,793 против 2,799). Курс записал по 3 seed каждой.
Простое правило для "A обгоняет B" при нескольких seed у каждой: возьмите разность средних и её стандартную ошибку (насколько сдвинулась бы эта разность, если перезапустить seed), sqrt(var(A) / nA + var(B) / nB) с выборочной дисперсией (ddof=1). Считайте это показанным, когда разность больше 2 стандартных ошибок. judge.standard_error(a, b) вычисляет её.
Сначала предскажите: при трёх seed обгоняет ли ширина 1024 всё ещё 512 при 8 000 токенов?
Слова и символы этого урока
- seed
- число, которое фиксирует случайные выборы прогона; другой seed даёт другой результат
- стандартная ошибка
- насколько сдвинулась бы измеренная разность, если перезапустить seed
Присвойте my_guess значение "yes" или "no". Для 8 000 и 1 500 000 токенов заполните diff[tokens] (средние потери ширины 512 минус средние потери ширины 1024: положительное значит, что 1024 лучше) и two_se[tokens]. Присвойте verdict[tokens] значение "shown" или "not shown".
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.