Программа курса Урок 241 из 246 · Модуль 23: Студия итогового проекта: model card, которую можно запустить
Модуль 23: Студия итогового проекта: model card, которую можно запустить

Оценка на отложенных данных, с планками погрешностей

Почему это важно Каждый ваш выбор смотрел на оценку на валидации, поэтому теперь она немного оптимистична. Одна оценка на данных, на которые вы никогда не смотрели, с планками погрешностей - вот число, которое можно сообщать.

Выберите настройки FINAL по тому, что показали ваши абляции, не дороже 4 стоимостей базового запуска. Обучите с seed 0. Затем один раз оцените на скрытом тестовом наборе: track.score(model, hidden=True, per_item=True) даёт по числу на каждый тестовый элемент, а studio.interval(items) - среднее и 95% бутстрэп-интервал.

Скрытый набор поставляется внутри этой страницы, поэтому он скрыт, но не запечатан: вы могли бы на него посмотреть. Сертификат курса не опирается на его секретность; ваша карточка опирается, поэтому посмотрите один раз, в конце.

Пороги прохождения (план по умолчанию проходит оба): language - среднее хотя бы -2.72; images - хотя бы 0.42.

Слова и символы этого урока
базовый запуск
простой запуск, с которым сравнивается каждое изменение, на тех же seed
абляция
одно изменение базового запуска, прогнанное на нескольких seed, чтобы увидеть, что оно делает
скрытый тестовый набор
данные, оцениваемые один раз, в конце, после всех решений
Твоя очередь

Задайте FINAL, обучите final и заполните validation (его оценка на валидации), hidden (mean, low, high) и gap (валидация минус среднее на скрытом).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.