Программа курса Урок 119 из 246 · Модуль 10: Сети, которые видят (CNN)
Модуль 10: Сети, которые видят (CNN)

Маленькая CNN на цифрах

Почему это важно Это идея LeNet 1998 года: свёртка, пулинг, свёртка, пулинг, затем классификатор. Постройте её из заработанных вами слоёв курса и посмотрите, как она обыгрывает MLP на сдвинутых цифрах.

В библиотеке курса nnsim.engine есть построенные вами слои: conv (3 на 3, same padding), relu, pool2 (среднее 2 на 2), gap (глобальный average pooling), matmul, cross_entropy и Adam. Вес свёртки для фильтров 3 на 3 из C_in в C_out каналов имеет форму (9 * C_in, C_out).

Библиотека курса на одной карточке (держите её под рукой до конца курса; print(E.GUIDE) снова покажет её в любом уроке)

  • E.T(array) оборачивает числа в тензор. .data - массив (float32); .grad равен None, пока до него не дойдёт backward().
  • loss.backward() заполняет .grad у каждого тензора, от которого зависят потери.
  • opt = E.Adam(params, lr) принимает список тензоров. opt.step() обновляет каждый, у которого есть градиент, а затем возвращает его .grad в None, так что обнулять градиенты самим не нужно.
  • Изображения с каналами в конце: (batch, rows, columns, channels). E.conv(x, w) сохраняет размер (same padding) и превращает C каналов в F с w формы (9 * C, F). E.pool2 вдвое уменьшает строки и столбцы; E.gap усредняет их, давая (batch, channels).
  • E.cross_entropy(logits, y): logits (batch, classes) как тензор, y - обычный целочисленный массив. Возвращает тензор с одним числом; float(loss.data) его читает.
  • Целый шаг обучения - три строки: loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step().
  • Записанные запуски: print(R.experiment(name)) перечисляет настройки и имена метрик; run = exp.run(setting=value, ...), затем run.loss (пары шаг и потери), run.metrics (словарь) и run.final_loss.

Угадайте кривую на графике: угадайте потери на обучении после эпохи 1 и после эпохи 8 (последней).

Слова и символы этого урока
свёртка
скольжение маленькой сетки весов (фильтра) по изображению, одно скалярное произведение на позицию
фильтр, карта признаков
маленькая обучаемая сетка весов; и изображение её откликов
padding (p), stride (s)
нули, добавленные по краю; на сколько пикселей фильтр сдвигается за шаг
пулинг
уменьшение карты с сохранением максимума или среднего каждого блока
RECORDED
настоящий запуск, который курс обучил один раз и поставляет вам для изучения
Твоя очередь

Заполните my_guess, затем напишите train(epochs, seed), возвращающую функцию predict(X). Используйте conv(1 в 16) + relu, conv(16 в 32) + relu, глобальный average pooling, затем линейный слой на 10 классов. Достигните хотя бы 90% на тестовых цифрах и хотя бы 60% на тестовых цифрах, сдвинутых на 2 пикселя (где MLP набрал около 21%). Результат со сдвигом сильно меняется от seed к seed (собственное решение курса получает от 0,76 до 0,89 на пяти seed), поэтому порог стоит заметно ниже. Здесь работает Adam со скоростью обучения около 1e-2; при 3e-3 эта маленькая сеть учится слишком медленно для урока.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.