Программа курса Урок 45 из 246 · Модуль 3: От нейрона к MLP
Модуль 3: От нейрона к MLP

Любая кривая из горбов (универсальная аппроксимация)

Почему это важно Говорят, что сеть с одним скрытым слоем может подогнать любую кривую. Здесь вы увидите почему, построив это сами из горбов.

Посмотрите

Очень крутая сигмоида - это ступенька: 0 слева, 1 справа. Две ступеньки, одна вверх в left и одна вниз в right, образуют горб: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Это два скрытых нейрона и один выходной вес. Поставьте горбы рядом, каждый высотой с кривую в своём месте, и вы обведёте любую кривую, как столбчатую диаграмму. Больше нейронов - тоньше столбцы, ближе подгонка.

Универсальная аппроксимация: один скрытый слой с достаточным числом нейронов может сколь угодно близко подойти к любой разумной кривой. Это ничего не говорит о том, насколько легко найти такие веса обучением.

Итоги Два нейрона делают горб; достаточно горбов делают что угодно.

Слова и символы этого урока
нейрон
w . x + b, затем активация
веса (w, W), смещение (b)
числа, которые учит нейрон; смещение сдвигает его выход
сигмоида
1 / (1 + exp(-z)): сжимает любое число в диапазон от 0 до 1
скрытый слой
слой между входом и выходом, который строит новые признаки
Твоя очередь

Напишите bump(x, left, right, height, s=60), затем approx(x, f, n_bumps), которая делит отрезок от 0 до pi на n_bumps равных частей и добавляет по горбу на часть, каждый высотой f в середине своей части. При 10 горбах (20 нейронов) среднеквадратичная ошибка против sin на отрезке от 0 до pi должна быть ниже 0,01.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.