Silabus Pelajaran 188 dari 246 · Modul 17: Masukan noise, keluaran gambar (diffusion)
Modul 17: Masukan noise, keluaran gambar (diffusion)

U-Net kecil

Kenapa ini penting Untuk gambar, noise predictor di model diffusion asli adalah U-Net: ia mengecilkan gambar untuk melihat bentuk besar, lalu mengembangkannya kembali ke ukuran penuh, dengan shortcut yang membawa detail halus. Kamu sudah tahu setiap bagiannya.

A U-Net untuk gambar 8 x 8 dengan satu channel:

  1. Down: conv 3 x 3 ke 16 channel, ReLU. Simpan ini sebagai skip (8 x 8 x 16). Lalu average pool 2 x 2 ke 4 x 4.
  2. Middle: conv 3 x 3 ke 32 channel, ReLU (4 x 4 x 32): setiap unit sekarang melihat area yang luas.
  3. Up: upsample ke 8 x 8, lalu gabungkan dengan skip di sepanjang channel (E.concat): 8 x 8 x 48.
  4. 3 x 3 conv ke 16 channel, ReLU, lalu 3 x 3 conv ke 1 channel: noise yang diprediksi, ukuran sama dengan input.

Skip connection adalah ide kunci U-Net: jalur down membuang detail untuk melihat bentuk, dan skip memberikan detail itu langsung ke jalur up. Tanpa itu, output jadi buram.

Tidak ada pelatihan di sini: kamu membangunnya dan membuktikan bahwa kabelnya benar, dengan bentuk dan pengecekan gradien, seperti cara kamu memeriksa layer di Module 4.

Kata dan simbol di pelajaran ini
model difusi
jaringan yang dilatih untuk menghapus noise sedikit demi sedikit; berjalan mundur dari noise murni, ia menghasilkan
U-Net
jaringan yang mengecilkan gambar untuk melihat bentuk, mengembalikannya lagi, dan meneruskan detail melalui skip connections
Giliranku

Tulis unet(x, P) untuk x dan E.T dengan bentuk (n, 8, 8, 1), dengan weights di P yang dibuat oleh starter. Lalu cek satu gradient dengan nudging: atur max_gap ke selisih terbesar antara backprop dan nudging pada 5 angka pertama dari P['up2'][0]. Engine bekerja dalam float32, jadi nudge dengan h = 1e-3 atau lebih: dengan 1e-4 perubahan pada loss hilang karena pembulatan dan gradient yang benar terlihat salah.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.