Программа курса Урок 242 из 246 · Модуль 23: Студия итогового проекта: model card, которую можно запустить
Модуль 23: Студия итогового проекта: model card, которую можно запустить

Напишите model card

Почему это важно Model card (Mitchell и др. 2019) - то, как модель передают кому-то другому: что она такое, как её обучали, насколько хорошо она работает и где её не проверяли. Большинство карточек пишутся по памяти. Ваша сверяется с вашим логом запусков.

Этот урок заново прогоняет ваши базовый и финальный запуски (seed 0) в свежий лог, оценивает финальную модель на скрытом наборе и даёт вам числа. Напишите карточку как словарь с такими полями:

  • track, final settings (словарь FINAL), weights (размер финальной модели), training FLOPs (её стоимость)
  • baseline validation score, validation score, hidden score, hidden interval [low, high]
  • finding (одно предложение с двумя вашими числами пробы), ablations (по одному предложению на изменение с его вердиктом), limitations (на чём модель не проверялась: хотя бы одно полное предложение)

Проверка сравнивает каждое число с логом и оценкой на скрытом наборе до 4 знаков после запятой. Затем честно ответьте на вопросы самопроверки: True или False для каждой строки.

Слова и символы этого урока
базовый запуск
простой запуск, с которым сравнивается каждое изменение, на тех же seed
абляция
одно изменение базового запуска, прогнанное на нескольких seed, чтобы увидеть, что оно делает
model card
короткая запись о том, что это за модель, как её обучали, насколько хорошо она работает и где её не проверяли
Твоя очередь

Заполните card и checklist.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.