Программа курса Урок 49 из 246 · Модуль 3: От нейрона к MLP
Модуль 3: От нейрона к MLP

Распознаватель цифр на чистом NumPy

Почему это важно Это настоящая нейронная сеть, читающая настоящий почерк, и каждую строку написали вы. Это классическая первая сеть, построенная без библиотеки.

Данные - 1 797 рукописных цифр, каждая - изображение 8 на 8, вытянутое в 64 числа (маленький родственник низкого разрешения знаменитого набора MNIST 28 на 28, из другой коллекции). Сеть - та, что из прошлого урока: 64 входа, скрытый слой из 64 нейронов ReLU и 10 выходов.

Цикл обучения

  1. Начните с маленьких случайных весов: rng.normal(0, 0.1, shape), смещения в нуле.
  2. Каждую эпоху перемешивайте обучающие данные и проходите по ним мини-батчами по 32.
  3. Для каждого мини-батча запускайте forward_backward и сдвигайте каждый вес против его градиента.

Мини-батч: небольшой случайный срез данных, используемый для одного шага. Это гораздо быстрее, чем использовать все данные на каждом шаге, и шум даже помогает.

Угадайте кривую: угадайте потери на обучении после эпохи 1 и после эпохи 20 в my_guess.

Итоги Перемешать, нарезать, прямой проход, обратный, шаг. Повторить.

Слова и символы этого урока
нейрон
w . x + b, затем активация
веса (w, W), смещение (b)
числа, которые учит нейрон; смещение сдвигает его выход
ReLU
max(0, z): оставляет положительные, обнуляет отрицательные
скорость обучения (lr)
насколько велик каждый шаг обучения
скрытый слой
слой между входом и выходом, который строит новые признаки
Твоя очередь

С помощью своей forward_backward напишите train(X, y, hidden, lr, epochs, seed), возвращающую словарь весов, и predict(params, X), возвращающую предсказанную цифру для каждой строки. Заполните my_guess. Скрытый тест измеряет точность на 397 цифрах, на которых вы никогда не обучались: достигните хотя бы 95%. (lr 0,5, 20 эпох, 64 скрытых нейрона работают.)

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.