Программа курса Урок 100 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

Прямой проход в два слоя

Один нейрон это линия. Сложите layer из них, добавьте нелинейность, затем подайте это на другой слой, и сеть сможет изгибаться, чтобы подойти почти к чему угодно. Прогон данных через слои для получения результата называется forward pass.

Слой

A это просто умножение матриц: каждый столбец матрицы весов это веса одного нейрона. С numpy весь слой это x @ W + b (оператор @ это умножение матриц).

Между слоями мы применяем нелинейную активацию. Современные сети предпочитают ReLU (Rectified Linear Unit), который просто max(0, z): оставляем положительные значения, обнуляем отрицательные. Без нелинейности объединение слоев схлопнулось бы обратно в одну линию.

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

Почему мы делаем это в numpy здесь

Настоящие фреймворки для этого - TensorFlow и PyTorch. Они не могут работать в этом уроке: Pyodide - это CPython, скомпилированный в WebAssembly в вашем браузере, а эти библиотеки поставляются с тяжелым нативным C++ и CUDA/GPU кодом, который не имеет сборки под WebAssembly. Поэтому мы получаем intuition с помощью нескольких строк numpy, что и является сутью прямого прохода под капотом. Фреймворки добавляют autograd, GPU и масштабируемость, а не новые идеи об этом шаге.

Посмотрите на фигуры: вход длиной 3 через матрицу весов 3x4 дает 4 скрытых значения; через матрицу 4x1 это становится одним выходом.

Твоя очередь

Завершите прямой проход. Запишите relu(z) с np.maximum, затем вычислите скрытый слой h = relu(x @ W1 + b1) и выход out = h @ W2 + b2, используя предоставленные веса.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.