Программа курса Урок 238 из 246 · Модуль 23: Студия итогового проекта: model card, которую можно запустить
Модуль 23: Студия итогового проекта: model card, которую можно запустить

Абляции: три изменения, по три seed каждое

Почему это важно "Это изменение помогло" - самое частое утверждение в любом отчёте о проекте и то, что чаще всего делают по одному запуску. Правило модуля 22 решает это здесь, на ваших запусках.

Выберите три изменения базового запуска, каждое меняет ровно одну настройку (width, lr, steps, batch или weight_decay). Прогоните каждое с seed 0, 1 и 2, а также снова базовый запуск с теми же seed (в логе этого урока, чтобы все числа были в одном месте). Используйте evals=1: нужна только итоговая оценка.

Для каждого изменения: diff = средняя оценка изменения минус средняя оценка базового запуска (чем выше, тем лучше), а se = judge.standard_error(baseline, change). Вердикт: "better", если diff > 2 se, "worse", если diff < -2 se, иначе "not shown".

Итог должен уложиться в ваш бюджет: изменение, которое стоит дороже (шире, больше шагов), тратит больше.

Слова и символы этого урока
базовый запуск
простой запуск, с которым сравнивается каждое изменение, на тех же seed
абляция
одно изменение базового запуска, прогнанное на нескольких seed, чтобы увидеть, что оно делает
Твоя очередь

Задайте CHANGES (три, каждое - одна настройка). Заполните log 12 запусками и verdict[name] для каждого изменения. Выведите средние и 2 se.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.