Программа курса Урок 105 из 246 · Модуль 9: Действительно ли лучше?
Модуль 9: Действительно ли лучше?

Seed и разброс

Почему это важно Обучите одну и ту же модель дважды с разными seed, и получите разные результаты. Пока вы не знаете, насколько велико это колебание, вы не можете сказать, помогло ли какое-либо изменение.

Здесь seed решает три вещи: какие изображения попадают в обучающую и тестовую выборки, начальные веса и порядок данных. Ни одна из них не должна иметь значения, но все немного влияют. Поэтому всегда обучайте несколько seed и сообщайте среднее и разброс (стандартное отклонение), никогда - один прогон.

Грубое правило для сравнения двух настроек, каждая усреднена по n seed: разность двух средних колеблется примерно на разброс × sqrt(2 / n) (каждое среднее колеблется на разброс / sqrt(n), а два независимых колебания складываются в квадратах). Разности меньше примерно удвоенного этого доверять нельзя. При 5 seed и разбросе 0,02 это 2 × 0,02 × sqrt(0,4) = 0,025.

Твоя очередь

Напишите seed_report(n_seeds), возвращающую (mean, std) от train_and_score по seed от 0 до n_seeds - 1. Используйте np.std как есть (он делит на n; деление на n - 1, ddof=1, тоже принимается). Затем присвойте wobble разброс по 5 seed.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.