Программа курса Урок 167 из 246 · Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)
Модуль 15: Сжать, восстановить, сгенерировать (автокодировщики и VAE)

Сжать и восстановить (автокодировщики)

Почему это важно Каждая сеть до сих пор превращала картинку в метку. Этот модуль превращает картинки в новые картинки. Первый шаг - сеть, которая сжимает картинку в несколько чисел и восстанавливает её из них. Именно из этих нескольких чисел будут браться новые картинки.

Автокодировщик - две сети спина к спине. Кодировщик сжимает 64-пиксельную цифру в 16 чисел, её код. Декодер восстанавливает 64 пикселя из этих 16 чисел. Обучение просит одного: восстановленная картинка должна совпадать с оригиналом.

Никто не говорит ему, что должны значить 16 чисел. Ему приходится самому найти краткое описание цифры, потому что 16 чисел не могут просто скопировать 64 пикселя.

Маленькие числа

64-пиксельная цифра становится 16 числами: сжатие 4 к 1. Если восстановленные пиксели в среднем ошибаются на 0,09, квадрат ошибки на пиксель около 0,008. Ошибки такого размера вы и достигнете.

Как измеряются потери

Каждый пиксель - число от 0 (пусто) до 1 (полная заливка), поэтому последний слой декодера даёт по одной оценке на пиксель, а сигмоида превращает её в 0..1. Потери - бинарная перекрёстная энтропия из модуля 3, просуммированная по 64 пикселям и усреднённая по батчу. В движке курса она теперь есть как E.bce_with_logits(scores, pictures): она берёт оценки до сигмоиды, поэтому никогда не берёт логарифм от 0.

Вывод также печатает картинки текстом: gen.show(pictures) печатает каждую цифру 8 на 8 оттенками от пустого до полной заливки.

Слова и символы этого урока
автокодировщик
кодировщик, сжимающий картинку в несколько чисел, и декодер, который её восстанавливает
код (латентный)
несколько чисел, которые кодировщик делает из одной картинки
mu, logvar
центр и логарифм квадрата разброса числа кода в VAE
Твоя очередь

Напишите encode(x): плотный слой с ReLU (P['e1']), затем плотный слой до 16 чисел (P['e2']). Напишите decode(code) так же, с P['d1'], ReLU и P['d2'], возвращая 64 оценки до сигмоиды. Цикл обучения написан за вас. Достигните ошибки восстановления на тесте ниже 0,012 на пиксель.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.