Программа курса Урок 26 из 246 · Модуль 2: Математика и вероятность, только по необходимости
Модуль 2: Математика и вероятность, только по необходимости

Наклоны подталкиванием (производные)

Почему это важно Обучение снова и снова задаёт один вопрос: если подтолкнуть этот вес, что случится с потерями? У этого вопроса есть имя: производная.

Посмотрите

Возьмите f(x) = x * x в x = 3, где f равно 9. Подтолкните x до 3,001: f становится 9,006001. Выход сдвинулся на 0,006001 при сдвиге входа на 0,001, примерно в 6 раз больше. Значит, наклон в 3 примерно 6.

Точный наклон x в квадрате - 2x, что равно 6 в x = 3. Подталкивание дало почти точно. Подталкивание в обе стороны с усреднением, (f(x + h) - f(x - h)) / (2h), ещё точнее.

Производная: как быстро меняется выход на единицу изменения входа, в одной точке. Наклон кривой там.

Наклоны, которые вам понадобятся

Подтолкнуть можно всегда, но эти точные наклоны снова и снова встречаются в курсе. Каждый легко проверить вашей функцией slope.

ФункцияНаклон
x в степени nn × x в степени n - 1 (поэтому у x в квадрате наклон 2x)
exp(x)exp(x): собственный наклон
log(x)1 / x
sigmoid(x) = 1 / (1 + exp(-x))sigmoid(x) × (1 - sigmoid(x))
tanh(x)1 - tanh(x) в квадрате
a × b, оба зависят от x(наклон a) × b + a × (наклон b): правило произведения
f(g(x)), одна внутри другойнаклон f в g(x), умноженный на наклон g: цепное правило, следующий урок

Итоги Подтолкнуть, измерить, разделить. Вот и всё, что такое производная.

Слова и символы этого урока
производная (df/dx)
как быстро меняется выход на единичное подталкивание входа
цепное правило
наклон шагов подряд - произведение собственных наклонов каждого шага
Твоя очередь

Напишите slope(f, x, h=1e-5), используя двустороннее подталкивание. Она должна работать для любой функции одного числа.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.