Silabus Pelajaran 26 dari 246 · Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan
Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan

Kemiringan dengan nudging (turunan)

Kenapa ini penting Training menanyakan satu hal berulang kali: jika aku mengubah sedikit weight ini, apa yang terjadi pada loss? Pertanyaan itu punya nama: derivative.

Lihat sendiri

Ambil f(x) = x * x di x = 3, di mana f adalah 9. Geser x ke 3.001: f menjadi 9.006001. Output bergerak 0.006001 untuk pergerakan input 0.001, sekitar 6 kali lipat. Jadi kemiringan di 3 adalah sekitar 6.

Kemiringan tepat dari x squared adalah 2 kali x, yang mana adalah 6 pada x = 3. Nudge mendapatkannya hampir tepat. Melakukan nudge ke kedua arah dan merata-ratakannya, (f(x + h) - f(x - h)) / (2h), bahkan lebih akurat.

Derivative: seberapa cepat output berubah per unit perubahan input, pada satu titik. Kemiringan kurva di sana.

Kemiringan yang kamu butuhkan

Kamu selalu bisa menggeser, tapi kemiringan yang tepat ini muncul terus menerus di kursus ini. Masing-masing mudah diperiksa dengan fungsi slope milikmu.

FunctionKemiringan
x pangkat nn kali x pangkat n - 1 (jadi x kuadrat punya kemiringan 2x)
exp(x)exp(x): kemiringannya sendiri
log(x)1 / x
sigmoid(x) = 1 / (1 + exp(-x))sigmoid(x) kali (1 - sigmoid(x))
tanh(x)1 - tanh(x) kuadrat
a kali b, keduanya tergantung pada x(kemiringan a) kali b + a kali (kemiringan b): aturan perkalian
f(g(x)), satu di dalam yang lainkemiringan f di g(x), dikali kemiringan g: aturan rantai, pelajaran berikutnya

Ringkasan Dorong, ukur, bagi. Hanya itu yang disebut turunan.

Kata dan simbol di pelajaran ini
turunan (df/dx)
seberapa cepat output berubah per unit dorongan input
aturan rantai
kemiringan langkah dalam satu baris adalah hasil kali dari kemiringan masing-masing langkah
Giliranku

Tulis slope(f, x, h=1e-5) menggunakan nudge dua sisi. Ini harus berfungsi untuk fungsi angka apa pun.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.