Программа курса Урок 120 из 246 · Модуль 10: Сети, которые видят (CNN)
Модуль 10: Сети, которые видят (CNN)

Более глубокие сети и записанные запуски

Почему это важно Больше слоёв должно помогать, пока внезапно не перестаёт. Курс обучил этот эксперимент на своей машине, чтобы вы увидели все восемнадцать запусков за секунды.

Записанный эксперимент cnn-depth-shortcuts обучал CNN с 2, 8 и 20 свёрточными слоями (по 16 каналов) на наборе фигур, каждую с короткими путями и без них (прибавление входа блока к его выходу, из модуля 6), и каждую с тремя seed. Всё остальное было одинаковым: 2000 обучающих изображений, 4 эпохи, Adam. Воспроизведение мгновенное, потому что ничего не обучается; вы читаете то, что произошло на самом деле.

Три seed, потому что модуль 9 прав: один запуск может ввести в заблуждение. Смотрите на разброс каждой настройки, а не только на её среднее.

Сначала угадайте кривую: какая настройка заканчивает с наибольшей средней точностью на тесте и учится ли простая 20-слойная сеть на каждом seed?

Записанный запуск: настоящий запуск обучения, который курс сделал один раз и поставляет, чтобы уроки могли изучать запуски, слишком большие или слишком многочисленные, чтобы обучать их вживую на каждом ноутбуке. Каждая распечатка говорит RECORDED.

Слова и символы этого урока
RECORDED
настоящий запуск, который курс обучил один раз и поставляет вам для изучения
Твоя очередь

Присвойте my_best пару (depth, shortcuts), которая, по-вашему, заканчивает выше всех в среднем, а my_plain20_reliable - True, если вы думаете, что простая 20-слойная сеть учится на всех трёх seed. Затем с помощью nnsim.recorded заполните final_acc: (depth, shortcuts) в список итоговых точностей на тесте трёх seed (seed 0 первым), задайте mean_acc средним каждого списка и best - парой с наибольшим средним. exp.seeds(depth=..., shortcuts=...) даёт три запуска одной настройки. Случайный уровень - 0,25 (четыре фигуры).

Наконец, по правилу шума из модуля 9 скажите, какие настройки действительно различаются. При трёх seed у каждой настройки два средних различаются по-настоящему, только если разрыв больше примерно 2 × s × sqrt(2/3), где s - больший из разбросов по seed двух настроек (np.std трёх значений). Всё, что ближе, - ничья.

Присвойте ties_with_best список всех пар, которые по этому правилу в ничьей с best, включая сам best.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.