Любая кривая из горбов (универсальная аппроксимация)
Почему это важно Говорят, что сеть с одним скрытым слоем может подогнать любую кривую. Здесь вы увидите почему, построив это сами из горбов.
Посмотрите
Очень крутая сигмоида - это ступенька: 0 слева, 1 справа. Две ступеньки, одна вверх в left и одна вниз в right, образуют горб: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Это два скрытых нейрона и один выходной вес. Поставьте горбы рядом, каждый высотой с кривую в своём месте, и вы обведёте любую кривую, как столбчатую диаграмму. Больше нейронов - тоньше столбцы, ближе подгонка.
Универсальная аппроксимация: один скрытый слой с достаточным числом нейронов может сколь угодно близко подойти к любой разумной кривой. Это ничего не говорит о том, насколько легко найти такие веса обучением.
Итоги Два нейрона делают горб; достаточно горбов делают что угодно.
Слова и символы этого урока
- нейрон
- w . x + b, затем активация
- веса (w, W), смещение (b)
- числа, которые учит нейрон; смещение сдвигает его выход
- сигмоида
- 1 / (1 + exp(-z)): сжимает любое число в диапазон от 0 до 1
- скрытый слой
- слой между входом и выходом, который строит новые признаки
Напишите bump(x, left, right, height, s=60), затем approx(x, f, n_bumps), которая делит отрезок от 0 до pi на n_bumps равных частей и добавляет по горбу на часть, каждый высотой f в середине своей части. При 10 горбах (20 нейронов) среднеквадратичная ошибка против sin на отрезке от 0 до pi должна быть ниже 0,01.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.