Наклоны подталкиванием (производные)
Почему это важно Обучение снова и снова задаёт один вопрос: если подтолкнуть этот вес, что случится с потерями? У этого вопроса есть имя: производная.
Посмотрите
Возьмите f(x) = x * x в x = 3, где f равно 9. Подтолкните x до 3,001: f становится 9,006001. Выход сдвинулся на 0,006001 при сдвиге входа на 0,001, примерно в 6 раз больше. Значит, наклон в 3 примерно 6.
Точный наклон x в квадрате - 2x, что равно 6 в x = 3. Подталкивание дало почти точно. Подталкивание в обе стороны с усреднением, (f(x + h) - f(x - h)) / (2h), ещё точнее.
Производная: как быстро меняется выход на единицу изменения входа, в одной точке. Наклон кривой там.
Наклоны, которые вам понадобятся
Подтолкнуть можно всегда, но эти точные наклоны снова и снова встречаются в курсе. Каждый легко проверить вашей функцией slope.
| Функция | Наклон |
|---|---|
| x в степени n | n × x в степени n - 1 (поэтому у x в квадрате наклон 2x) |
| exp(x) | exp(x): собственный наклон |
| log(x) | 1 / x |
| sigmoid(x) = 1 / (1 + exp(-x)) | sigmoid(x) × (1 - sigmoid(x)) |
| tanh(x) | 1 - tanh(x) в квадрате |
| a × b, оба зависят от x | (наклон a) × b + a × (наклон b): правило произведения |
| f(g(x)), одна внутри другой | наклон f в g(x), умноженный на наклон g: цепное правило, следующий урок |
Итоги Подтолкнуть, измерить, разделить. Вот и всё, что такое производная.
Слова и символы этого урока
- производная (df/dx)
- как быстро меняется выход на единичное подталкивание входа
- цепное правило
- наклон шагов подряд - произведение собственных наклонов каждого шага
Напишите slope(f, x, h=1e-5), используя двустороннее подталкивание. Она должна работать для любой функции одного числа.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.