Silabus Pelajaran 72 dari 246 · Modul 5: Optimisasi
Modul 5: Optimisasi

Jadwal warmup dan cosine

Kenapa ini penting Learning rate terbaik tidak selalu sama sepanjang pelatihan. Model besar hampir selalu dilatih dengan jadwal: awal yang lembut, tengah yang tinggi dan lama, dan akhir yang lambat.

Lihat sendiri

Mainkan animasinya. Warmup: kecepatannya naik dalam garis lurus dari hampir nol ke puncaknya selama beberapa ratus langkah pertama, karena di awal sekali gradiennya besar dan tidak stabil. Cosine decay: lalu ia turun mengikuti setengah gelombang kosinus ke batas bawah yang kecil, sehingga pelatihan akhir mengambil langkah kecil yang hati hati dan menetap di posisi yang bagus.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Ringkasan Ramp up, cruise, glide down.

Kata dan simbol di pelajaran ini
pemanasan, cosine
mulai learning rate kecil, lalu turunkan perlahan mengikuti cosine
Giliranku

Tulis lr_at(step, total, warmup, peak, floor) mengikuti rumus di atas (langkah dihitung dari 0).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.