Программа курса Урок 122 из 246 · Модуль 10: Сети, которые видят (CNN)
Модуль 10: Сети, которые видят (CNN)

Повторное использование обученной сети (перенос обучения)

Почему это важно Редко бывает много размеченных данных для вашей собственной задачи. Сеть, обученная на большом родственном наборе данных, уже знает полезные признаки; её повторное использование позволяет крошечному набору данных зайти далеко.

План: обучить свёрточные слои на большом чистом наборе фигур. Затем взяться за новую, более трудную задачу всего с 40 размеченными изображениями: те же фигуры, но гораздо более зашумлённые. Держите обученные свёрточные слои замороженными и обучайте только новый последний слой на признаках, усреднённых по всему изображению (признаки без позиции обобщаются по немногим примерам). Сравните с обучением всей сети с нуля на 40 изображениях.

Замороженные: слои, веса которых не обновляются при обучении. Дообучение: продолжение обучения предобученной сети на новых данных.

Слова и символы этого урока
перенос обучения
повторное использование слоёв, обученных на одной задаче, для другой
RECORDED
настоящий запуск, который курс обучил один раз и поставляет вам для изучения
Твоя очередь

Предобучение курс сделал один раз, и его веса загружены для вас (записанная сеть). Напишите train_head(w1, w2, X, y, steps), которая обучает только новый выходной слой 16 в 4 поверх замороженных свёрточных слоёв (Adam с 1e-2 работает) и возвращает функцию предсказания, и train_scratch(X, y, steps), которая обучает все три слоя с новых случайных весов. Тест запускает обе на 1000 зашумлённых тестовых изображений. Ваша модель с переносом должна обыграть собственную сеть курса, обученную с нуля (фиксированные настройки: 8 и 16 каналов, Adam 3e-3, 300 шагов, около 58%), хотя бы на 8 пунктов; запуск курса с переносом получает около 72%. Ваша собственная сеть с нуля должна просто чему-то научиться (выше 35%, где случайный уровень 25%). Если ваша обыгрывает сеть курса с нуля, отлично: хорошо настроить обучение с нуля - настоящий навык, и поэтому же честное сравнение фиксирует настройки заранее.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.