Сжать и восстановить (автокодировщики)
Почему это важно Каждая сеть до сих пор превращала картинку в метку. Этот модуль превращает картинки в новые картинки. Первый шаг - сеть, которая сжимает картинку в несколько чисел и восстанавливает её из них. Именно из этих нескольких чисел будут браться новые картинки.
Автокодировщик - две сети спина к спине. Кодировщик сжимает 64-пиксельную цифру в 16 чисел, её код. Декодер восстанавливает 64 пикселя из этих 16 чисел. Обучение просит одного: восстановленная картинка должна совпадать с оригиналом.
Никто не говорит ему, что должны значить 16 чисел. Ему приходится самому найти краткое описание цифры, потому что 16 чисел не могут просто скопировать 64 пикселя.
Маленькие числа
64-пиксельная цифра становится 16 числами: сжатие 4 к 1. Если восстановленные пиксели в среднем ошибаются на 0,09, квадрат ошибки на пиксель около 0,008. Ошибки такого размера вы и достигнете.
Как измеряются потери
Каждый пиксель - число от 0 (пусто) до 1 (полная заливка), поэтому последний слой декодера даёт по одной оценке на пиксель, а сигмоида превращает её в 0..1. Потери - бинарная перекрёстная энтропия из модуля 3, просуммированная по 64 пикселям и усреднённая по батчу. В движке курса она теперь есть как E.bce_with_logits(scores, pictures): она берёт оценки до сигмоиды, поэтому никогда не берёт логарифм от 0.
Вывод также печатает картинки текстом: gen.show(pictures) печатает каждую цифру 8 на 8 оттенками от пустого до полной заливки.
Слова и символы этого урока
- автокодировщик
- кодировщик, сжимающий картинку в несколько чисел, и декодер, который её восстанавливает
- код (латентный)
- несколько чисел, которые кодировщик делает из одной картинки
- mu, logvar
- центр и логарифм квадрата разброса числа кода в VAE
Напишите encode(x): плотный слой с ReLU (P['e1']), затем плотный слой до 16 чисел (P['e2']). Напишите decode(code) так же, с P['d1'], ReLU и P['d2'], возвращая 64 оценки до сигмоиды. Цикл обучения написан за вас. Достигните ошибки восстановления на тесте ниже 0,012 на пиксель.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.