Распознаватель цифр на чистом NumPy
Почему это важно Это настоящая нейронная сеть, читающая настоящий почерк, и каждую строку написали вы. Это классическая первая сеть, построенная без библиотеки.
Данные - 1 797 рукописных цифр, каждая - изображение 8 на 8, вытянутое в 64 числа (маленький родственник низкого разрешения знаменитого набора MNIST 28 на 28, из другой коллекции). Сеть - та, что из прошлого урока: 64 входа, скрытый слой из 64 нейронов ReLU и 10 выходов.
Цикл обучения
- Начните с маленьких случайных весов:
rng.normal(0, 0.1, shape), смещения в нуле. - Каждую эпоху перемешивайте обучающие данные и проходите по ним мини-батчами по 32.
- Для каждого мини-батча запускайте
forward_backwardи сдвигайте каждый вес против его градиента.
Мини-батч: небольшой случайный срез данных, используемый для одного шага. Это гораздо быстрее, чем использовать все данные на каждом шаге, и шум даже помогает.
Угадайте кривую: угадайте потери на обучении после эпохи 1 и после эпохи 20 в my_guess.
Итоги Перемешать, нарезать, прямой проход, обратный, шаг. Повторить.
Слова и символы этого урока
- нейрон
- w . x + b, затем активация
- веса (w, W), смещение (b)
- числа, которые учит нейрон; смещение сдвигает его выход
- ReLU
- max(0, z): оставляет положительные, обнуляет отрицательные
- скорость обучения (lr)
- насколько велик каждый шаг обучения
- скрытый слой
- слой между входом и выходом, который строит новые признаки
С помощью своей forward_backward напишите train(X, y, hidden, lr, epochs, seed), возвращающую словарь весов, и predict(params, X), возвращающую предсказанную цифру для каждой строки. Заполните my_guess. Скрытый тест измеряет точность на 397 цифрах, на которых вы никогда не обучались: достигните хотя бы 95%. (lr 0,5, 20 эпох, 64 скрытых нейрона работают.)
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.