Повторное использование обученной сети (перенос обучения)
Почему это важно Редко бывает много размеченных данных для вашей собственной задачи. Сеть, обученная на большом родственном наборе данных, уже знает полезные признаки; её повторное использование позволяет крошечному набору данных зайти далеко.
План: обучить свёрточные слои на большом чистом наборе фигур. Затем взяться за новую, более трудную задачу всего с 40 размеченными изображениями: те же фигуры, но гораздо более зашумлённые. Держите обученные свёрточные слои замороженными и обучайте только новый последний слой на признаках, усреднённых по всему изображению (признаки без позиции обобщаются по немногим примерам). Сравните с обучением всей сети с нуля на 40 изображениях.
Замороженные: слои, веса которых не обновляются при обучении. Дообучение: продолжение обучения предобученной сети на новых данных.
Слова и символы этого урока
- перенос обучения
- повторное использование слоёв, обученных на одной задаче, для другой
- RECORDED
- настоящий запуск, который курс обучил один раз и поставляет вам для изучения
Предобучение курс сделал один раз, и его веса загружены для вас (записанная сеть). Напишите train_head(w1, w2, X, y, steps), которая обучает только новый выходной слой 16 в 4 поверх замороженных свёрточных слоёв (Adam с 1e-2 работает) и возвращает функцию предсказания, и train_scratch(X, y, steps), которая обучает все три слоя с новых случайных весов. Тест запускает обе на 1000 зашумлённых тестовых изображений. Ваша модель с переносом должна обыграть собственную сеть курса, обученную с нуля (фиксированные настройки: 8 и 16 каналов, Adam 3e-3, 300 шагов, около 58%), хотя бы на 8 пунктов; запуск курса с переносом получает около 72%. Ваша собственная сеть с нуля должна просто чему-то научиться (выше 35%, где случайный уровень 25%). Если ваша обыгрывает сеть курса с нуля, отлично: хорошо настроить обучение с нуля - настоящий навык, и поэтому же честное сравнение фиксирует настройки заранее.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.