Kemiringan dengan nudging (turunan)
Kenapa ini penting Training menanyakan satu hal berulang kali: jika aku mengubah sedikit weight ini, apa yang terjadi pada loss? Pertanyaan itu punya nama: derivative.
Lihat sendiri
Ambil f(x) = x * x di x = 3, di mana f adalah 9. Geser x ke 3.001: f menjadi 9.006001. Output bergerak 0.006001 untuk pergerakan input 0.001, sekitar 6 kali lipat. Jadi kemiringan di 3 adalah sekitar 6.
Kemiringan tepat dari x squared adalah 2 kali x, yang mana adalah 6 pada x = 3. Nudge mendapatkannya hampir tepat. Melakukan nudge ke kedua arah dan merata-ratakannya, (f(x + h) - f(x - h)) / (2h), bahkan lebih akurat.
Derivative: seberapa cepat output berubah per unit perubahan input, pada satu titik. Kemiringan kurva di sana.
Kemiringan yang kamu butuhkan
Kamu selalu bisa menggeser, tapi kemiringan yang tepat ini muncul terus menerus di kursus ini. Masing-masing mudah diperiksa dengan fungsi slope milikmu.
| Function | Kemiringan |
|---|---|
| x pangkat n | n kali x pangkat n - 1 (jadi x kuadrat punya kemiringan 2x) |
| exp(x) | exp(x): kemiringannya sendiri |
| log(x) | 1 / x |
| sigmoid(x) = 1 / (1 + exp(-x)) | sigmoid(x) kali (1 - sigmoid(x)) |
| tanh(x) | 1 - tanh(x) kuadrat |
| a kali b, keduanya tergantung pada x | (kemiringan a) kali b + a kali (kemiringan b): aturan perkalian |
| f(g(x)), satu di dalam yang lain | kemiringan f di g(x), dikali kemiringan g: aturan rantai, pelajaran berikutnya |
Ringkasan Dorong, ukur, bagi. Hanya itu yang disebut turunan.
Kata dan simbol di pelajaran ini
- turunan (df/dx)
- seberapa cepat output berubah per unit dorongan input
- aturan rantai
- kemiringan langkah dalam satu baris adalah hasil kali dari kemiringan masing-masing langkah
Tulis slope(f, x, h=1e-5) menggunakan nudge dua sisi. Ini harus berfungsi untuk fungsi angka apa pun.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.