Прямой проход в два слоя
Один нейрон это линия. Сложите layer из них, добавьте нелинейность, затем подайте это на другой слой, и сеть сможет изгибаться, чтобы подойти почти к чему угодно. Прогон данных через слои для получения результата называется forward pass.
СлойA это просто умножение матриц: каждый столбец матрицы весов это веса одного нейрона. С numpy весь слой это x @ W + b (оператор @ это умножение матриц).
Между слоями мы применяем нелинейную активацию. Современные сети предпочитают ReLU (Rectified Linear Unit), который просто max(0, z): оставляем положительные значения, обнуляем отрицательные. Без нелинейности объединение слоев схлопнулось бы обратно в одну линию.
import numpy as np
def relu(z):
return np.maximum(0, z)
h = relu(x @ W1 + b1) # hidden layer
out = h @ W2 + b2 # output layerПочему мы делаем это в numpy здесь
Настоящие фреймворки для этого - TensorFlow и PyTorch. Они не могут работать в этом уроке: Pyodide - это CPython, скомпилированный в WebAssembly в вашем браузере, а эти библиотеки поставляются с тяжелым нативным C++ и CUDA/GPU кодом, который не имеет сборки под WebAssembly. Поэтому мы получаем intuition с помощью нескольких строк numpy, что и является сутью прямого прохода под капотом. Фреймворки добавляют autograd, GPU и масштабируемость, а не новые идеи об этом шаге.
Посмотрите на фигуры: вход длиной 3 через матрицу весов 3x4 дает 4 скрытых значения; через матрицу 4x1 это становится одним выходом.
Завершите прямой проход. Запишите relu(z) с np.maximum, затем вычислите скрытый слой h = relu(x @ W1 + b1) и выход out = h @ W2 + b2, используя предоставленные веса.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.