Cancello: il VAE che disegna una sola cifra (IA spenta)
Perché è importante Questo guasto ha un nome, collasso del posteriore, ed è abbastanza comune che ogni modello generativo che costruirai in seguito può incontrarne qualche versione. Qui lo diagnostichi e lo correggi da solo.
Regole del cancello: tutor IA spento. Esegui il codice di partenza e guarda che cosa crea il VAE rotto. Puoi addestrare tutte le varianti che vuoi con gen.train_vae(...) e giudicarle con gen.judge, active_units() e l'errore di ricostruzione.
Esistono tre impostazioni, ognuna con un motivo per provarla:
weight: la forza della trazione 2 (la KL), 1 di default.warmup_steps: parti con peso 0 e alzalo in modo uniforme fino aweightin questo numero di passi (l'addestramento è di 600 passi).free_bits: una soglia per numero del codice. Un numero la cui KL è sotto la soglia paga la soglia e non riceve spinta verso il centro, così il modello può permettersi di usarlo.
Leggerai online che il riscaldamento del peso è la correzione standard. Scopri se lo è anche qui.
Il controllo riaddestra la tua correzione su un nuovo seed e la fa passare solo se valgono tutte e quattro: errore di ricostruzione di test sotto 0.035, almeno 3 numeri del codice attivi, cifre nuove con vicinanza al massimo 1.33 e varietà almeno 3.0.
Parole e simboli di questa lezione
- codice (latente)
- i pochi numeri che l'encoder crea da un'immagine
- VAE
- autoencoder variazionale: un autoencoder i cui codici vengono tirati a riempire N(0, 1), così i codici casuali si decodificano in immagini nuove
- mu, logvar
- il centro e il log del quadrato della dispersione di un numero del codice in un VAE
- vicinanza, varietà
- il giudice del corso: distanza dalla cifra vera più vicina, e bit di distribuzione sulle dieci cifre
- collasso del posteriore
- un VAE i cui codici diventano tutti N(0, 1) e non portano niente; disegna un'unica immagine media
Imposta diagnosis su una lettera e fix su un dict di impostazioni per gen.train_vae che curi il collasso.
IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.