Jadwal warmup dan cosine
Kenapa ini penting Learning rate terbaik tidak selalu sama sepanjang pelatihan. Model besar hampir selalu dilatih dengan jadwal: awal yang lembut, tengah yang tinggi dan lama, dan akhir yang lambat.
Lihat sendiri
Mainkan animasinya. Warmup: kecepatannya naik dalam garis lurus dari hampir nol ke puncaknya selama beberapa ratus langkah pertama, karena di awal sekali gradiennya besar dan tidak stabil. Cosine decay: lalu ia turun mengikuti setengah gelombang kosinus ke batas bawah yang kecil, sehingga pelatihan akhir mengambil langkah kecil yang hati hati dan menetap di posisi yang bagus.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Ringkasan Ramp up, cruise, glide down.
Kata dan simbol di pelajaran ini
- pemanasan, cosine
- mulai learning rate kecil, lalu turunkan perlahan mengikuti cosine
Tulis lr_at(step, total, warmup, peak, floor) mengikuti rumus di atas (langkah dihitung dari 0).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.