Kurrikulum Leson 100 van 250 · Neurale-Net Intuisie, LLMs & AI Graadstuk
Neurale-Net Intuisie, LLMs & AI Graadstuk

'n Twee-laag Voorwaartse Pass

Een neuron is 'n lyn. Stap 'n layer van hulle op, voeg 'n nonlinearity by, en voer dit dan in 'n ander laag in, dan kan die netwerk buig om by byna enigiets te pas. Om data deur die lae te stuur om 'n uitset te kry, word die forward pass genoem.

Die

A laag is net 'n matriksvermegvuldiging: elke kolom van die gewigmatriks is een neuron se gewigte. Met numpy is die hele laag x @ W + b (die @ operator is matriksvermegvuldiging).

Tussen lae pas ons 'n nie-lineêre aktivering toe. Moderne netwerke verkies ReLU (Rectified Linear Unit), wat eenvoudig max(0, z) is: hou positiewes, maak negatiewes nul. Sonder 'n nie-lineariteit sou die stapeling van lae terugval na 'n enkele lyn.

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

Waarom doen ons dit in numpy hier

Die regte frameworks vir dit is TensorFlow en PyTorch. Hulle kan nie in hierdie les loop nie: Pyodide is CPython wat na WebAssembly in jou blutser gekompileer is, en daie biblioteke bevat swaar natiewe C++ en CUDA/GPU kode wat geen WebAssembly bou het nie. Ons kry die intuisie met 'n paar reëls numpy, wat presies is wat 'n forward pass onder die oppervlak is. Die frameworks voeg autograd, GPU's en skaal by, nie nuwe idees oor hierdie stap nie.

Kyk na die vorms: 'n lengte-3 input deur 'n 3x4 weight matrix gee 4 hidden values; deur 'n 4x1 matrix wat 'n enkele output word.

Jou beurt

Voltooi die forward pass. Skryf relu(z) met np.maximum, en bereken dan die hidden layer h = relu(x @ W1 + b1) en die output out = h @ W2 + b2 met die verskafde weights.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.