Programma Lezione 175 di 246 · Modulo 15: Schiaccia, ricostruisci, genera (autoencoder e VAE)
Modulo 15: Schiaccia, ricostruisci, genera (autoencoder e VAE)

Cancello: il VAE che disegna una sola cifra (IA spenta)

Perché è importante Questo guasto ha un nome, collasso del posteriore, ed è abbastanza comune che ogni modello generativo che costruirai in seguito può incontrarne qualche versione. Qui lo diagnostichi e lo correggi da solo.

Regole del cancello: tutor IA spento. Esegui il codice di partenza e guarda che cosa crea il VAE rotto. Puoi addestrare tutte le varianti che vuoi con gen.train_vae(...) e giudicarle con gen.judge, active_units() e l'errore di ricostruzione.

Esistono tre impostazioni, ognuna con un motivo per provarla:

  • weight: la forza della trazione 2 (la KL), 1 di default.
  • warmup_steps: parti con peso 0 e alzalo in modo uniforme fino a weight in questo numero di passi (l'addestramento è di 600 passi).
  • free_bits: una soglia per numero del codice. Un numero la cui KL è sotto la soglia paga la soglia e non riceve spinta verso il centro, così il modello può permettersi di usarlo.

Leggerai online che il riscaldamento del peso è la correzione standard. Scopri se lo è anche qui.

Il controllo riaddestra la tua correzione su un nuovo seed e la fa passare solo se valgono tutte e quattro: errore di ricostruzione di test sotto 0.035, almeno 3 numeri del codice attivi, cifre nuove con vicinanza al massimo 1.33 e varietà almeno 3.0.

Parole e simboli di questa lezione
codice (latente)
i pochi numeri che l'encoder crea da un'immagine
VAE
autoencoder variazionale: un autoencoder i cui codici vengono tirati a riempire N(0, 1), così i codici casuali si decodificano in immagini nuove
mu, logvar
il centro e il log del quadrato della dispersione di un numero del codice in un VAE
vicinanza, varietà
il giudice del corso: distanza dalla cifra vera più vicina, e bit di distribuzione sulle dieci cifre
collasso del posteriore
un VAE i cui codici diventano tutti N(0, 1) e non portano niente; disegna un'unica immagine media
Tocca a te

Imposta diagnosis su una lettera e fix su un dict di impostazioni per gen.train_vae che curi il collasso.

IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.