Продуктивная неудача: XOR одним нейроном
Почему это важно Намеренная неудача здесь лучше любого объяснения научит вас, почему сетям нужно больше одного слоя.
XOR ("исключающее или") равно 1, когда ровно один из двух входов равен 1. Четыре точки: (0,0) - 0, (0,1) - 1, (1,0) - 1, (1,1) - 0. Ваша задача: заставить ваш логистический нейрон из прошлого урока правильно ответить на все четыре. Пробуйте любую скорость обучения, любое число шагов и любой seed.
Нейрон здесь начинается со случайных весов. Это важно: если начать со всех нулей, на XOR его градиент ровно 0 из-за симметрии (четыре точки тянут одинаково в противоположные стороны), и он вообще никогда бы не сдвинулся. Это другая неудача, не та, о которой этот урок, поэтому мы её исключаем.
Потратьте несколько минут на настоящие попытки, прежде чем читать подсказку. Смысл именно в том, чтобы сначала побороться: исследования обучения находят, что люди, которые пробуют решить задачу до объяснения идеи, потом понимают её лучше.
Слова и символы этого урока
- нейрон
- w . x + b, затем активация
- веса (w, W), смещение (b)
- числа, которые учит нейрон; смещение сдвигает его выход
- сигмоида
- 1 / (1 + exp(-z)): сжимает любое число в диапазон от 0 до 1
- скорость обучения (lr)
- насколько велик каждый шаг обучения
Используйте train_logistic(X, y, lr, steps, seed) на XOR хотя бы с тремя разными настройками и запишите точность каждого результата в my_attempts. Затем присвойте reason букву верного объяснения:
A: ему нужно больше шагов. B: один нейрон может разделить плоскость только одной прямой линией, а никакая прямая не разделяет XOR. C: скорость обучения неверна. D: четырёх точек слишком мало, чтобы учиться.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.