Programma Les 167 van 246 · Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)
Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)

Samenpersen en herbouwen (autoencoders)

Waarom dit ertoe doet Elk netwerk tot nu toe veranderde een afbeelding in een label. Deze module verandert afbeeldingen in nieuwe afbeeldingen. De eerste stap is een netwerk dat een afbeelding samenperst tot een paar getallen en het opnieuw opbouwt uit die getallen. Uit die paar getallen zullen de nieuwe afbeeldingen komen.

An autoencoder bestaat uit twee netwerken achter elkaar. De encoder drukt een cijfer van 64 pixels samen tot 16 getallen, zijn code. De decoder bouwt 64 pixels opnieuw op uit die 16 getallen. Training vraagt één ding: de herbouwde afbeelding moet overeenkomen met de originele.

Niemand vertelt het wat de 16 getallen moeten betekenen. Het moet zelf een korte beschrijving van een cijfer vinden, want 16 getallen kunnen niet simpelweg 64 pixels kopiëren.

Tintalletjes

A Een 64-pixel cijfer wordt 16 getallen: een samendrukking van 4 naar 1. Als de herbouwde pixels gemiddeld 0.09 afwijken, is de kwadratische fout per pixel ongeveer 0.008. Dat is de grootte van de fout die je zult bereiken.

Hoe de loss wordt gemeten

Elke pixel is een getal van 0 (leeg) tot 1 (vol inkt), dus de laatste laag van de decoder geeft één score per pixel en de sigmoid zet dit om naar 0..1. De loss is de binary cross-entropy uit Module 3, gesommeerd over de 64 pixels en gemiddeld over de batch. De house engine heeft het nu als E.bce_with_logits(scores, pictures): het neemt de scores voor de sigmoid, dus het neemt nooit de log van 0.

De uitvoer print ook plaatjes als tekst: gen.show(pictures) print elke 8x8 cijfer in tinten van leeg tot volledig inkt.

Woorden en symbolen in deze les
autoencoder
een encoder die een afbeelding samenperst tot een paar getallen en een decoder die deze herbouwt
code (latent)
de weinige getallen die de encoder maakt van één afbeelding
mu, logvar
het centrum en de log van de gesquarede spreiding van een code nummer in een VAE
Jij bent aan de beurt

Schrijf encode(x): een dense layer met ReLU (P['e1']), dan een dense layer naar 16 getallen (P['e2']). Schrijf decode(code) op dezelfde manier met P['d1'], ReLU en P['d2'], waarbij de 64 scores voor de sigmoid worden teruggegeven. De training loop is voor je geschreven. Bereik een test rebuild error onder 0.012 per pixel.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.