Маленькая CNN на цифрах
Почему это важно Это идея LeNet 1998 года: свёртка, пулинг, свёртка, пулинг, затем классификатор. Постройте её из заработанных вами слоёв курса и посмотрите, как она обыгрывает MLP на сдвинутых цифрах.
В библиотеке курса nnsim.engine есть построенные вами слои: conv (3 на 3, same padding), relu, pool2 (среднее 2 на 2), gap (глобальный average pooling), matmul, cross_entropy и Adam. Вес свёртки для фильтров 3 на 3 из C_in в C_out каналов имеет форму (9 * C_in, C_out).
Библиотека курса на одной карточке (держите её под рукой до конца курса; print(E.GUIDE) снова покажет её в любом уроке)
E.T(array)оборачивает числа в тензор..data- массив (float32);.gradравенNone, пока до него не дойдётbackward().loss.backward()заполняет.gradу каждого тензора, от которого зависят потери.opt = E.Adam(params, lr)принимает список тензоров.opt.step()обновляет каждый, у которого есть градиент, а затем возвращает его.gradвNone, так что обнулять градиенты самим не нужно.- Изображения с каналами в конце: (batch, rows, columns, channels).
E.conv(x, w)сохраняет размер (same padding) и превращает C каналов в F сwформы (9 * C, F).E.pool2вдвое уменьшает строки и столбцы;E.gapусредняет их, давая (batch, channels). E.cross_entropy(logits, y): logits (batch, classes) как тензор, y - обычный целочисленный массив. Возвращает тензор с одним числом;float(loss.data)его читает.- Целый шаг обучения - три строки:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - Записанные запуски:
print(R.experiment(name))перечисляет настройки и имена метрик;run = exp.run(setting=value, ...), затемrun.loss(пары шаг и потери),run.metrics(словарь) иrun.final_loss.
Угадайте кривую на графике: угадайте потери на обучении после эпохи 1 и после эпохи 8 (последней).
Слова и символы этого урока
- свёртка
- скольжение маленькой сетки весов (фильтра) по изображению, одно скалярное произведение на позицию
- фильтр, карта признаков
- маленькая обучаемая сетка весов; и изображение её откликов
- padding (p), stride (s)
- нули, добавленные по краю; на сколько пикселей фильтр сдвигается за шаг
- пулинг
- уменьшение карты с сохранением максимума или среднего каждого блока
- RECORDED
- настоящий запуск, который курс обучил один раз и поставляет вам для изучения
Заполните my_guess, затем напишите train(epochs, seed), возвращающую функцию predict(X). Используйте conv(1 в 16) + relu, conv(16 в 32) + relu, глобальный average pooling, затем линейный слой на 10 классов. Достигните хотя бы 90% на тестовых цифрах и хотя бы 60% на тестовых цифрах, сдвинутых на 2 пикселя (где MLP набрал около 21%). Результат со сдвигом сильно меняется от seed к seed (собственное решение курса получает от 0,76 до 0,89 на пяти seed), поэтому порог стоит заметно ниже. Здесь работает Adam со скоростью обучения около 1e-2; при 3e-3 эта маленькая сеть учится слишком медленно для урока.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.