Un petit U-Net
Pourquoi c'est important Pour les images, le prédicteur de bruit des vrais modèles de diffusion est un U-Net : il comprime l'image pour voir les grandes formes, puis la fait regrandir jusqu'à la taille complète, avec des raccourcis qui transportent les détails fins de l'autre côté. Tu connais déjà chaque pièce.
Un U-Net pour des images de 8 × 8 avec un canal :
- Descente : conv 3 × 3 vers 16 canaux, ReLU. Garde ça comme
skip(8 × 8 × 16). Puis un pooling moyen 2 × 2 jusqu'à 4 × 4. - Milieu : conv 3 × 3 vers 32 canaux, ReLU (4 × 4 × 32) : chaque unité voit maintenant une large zone.
- Montée : suréchantillonne jusqu'à 8 × 8, puis joins-le à
skiple long des canaux (E.concat) : 8 × 8 × 48. - Conv 3 × 3 vers 16 canaux, ReLU, puis une conv 3 × 3 vers 1 canal : le bruit prédit, de la même taille que l'entrée.
La connexion de saut est l'idée clé du U-Net : le chemin descendant jette des détails pour voir la forme, et le saut remet ces détails directement au chemin montant. Sans lui, la sortie est floue.
Pas d'entraînement ici : tu le construis et tu prouves qu'il est bien câblé, avec les formes et une vérification du gradient, comme tu vérifiais les couches au module 4.
Mots et symboles de cette leçon
- modèle de diffusion
- un réseau entraîné à retirer le bruit un peu à la fois ; exécuté à rebours depuis du bruit pur, il génère
- U-Net
- un réseau qui rétrécit une image pour voir les formes, la fait regrandir, et transmet les détails par des connexions de saut
Écris unet(x, P) pour x un E.T de forme (n, 8, 8, 1), avec les poids dans P tels que les crée le code de départ. Puis vérifie un gradient par des poussées : affecte à max_gap la plus grande différence entre la rétropropagation et les poussées sur les 5 premiers nombres de P['up2'][0]. Le moteur travaille en float32, donc pousse de h = 1e-3 ou plus : avec 1e-4, le changement de la perte se perd dans l'arrondi et un gradient correct a l'air faux.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.