Chương trình học Bài 100 trên tổng số 250 · Trực giác về mạng nơ-ron, LLM và dự án cuối về AI
Trực giác về mạng nơ-ron, LLM và dự án cuối về AI

Một lượt truyền xuôi hai tầng

Một nơ-ron là một đường thẳng. Xếp một tầng các nơ-ron, thêm một phi tuyến, rồi đưa nó vào một tầng khác, và mạng có thể uốn để khớp gần như mọi thứ. Đưa dữ liệu chạy qua các tầng để có đầu ra được gọi là lượt truyền xuôi (forward pass).

Một tầng chỉ là một phép nhân ma trận: mỗi cột của ma trận trọng số là trọng số của một nơ-ron. Với numpy, cả tầng là x @ W + b (toán tử @ là phép nhân ma trận).

Giữa các tầng ta áp dụng một hàm kích hoạt phi tuyến. Các mạng hiện đại ưa chuộng ReLU (Rectified Linear Unit), đơn giản là max(0, z): giữ số dương, biến số âm thành không. Không có phi tuyến, việc xếp chồng các tầng sẽ sụp lại thành một đường thẳng duy nhất.

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

Vì sao ở đây ta làm việc này bằng numpy

Các framework thật cho việc này là TensorFlow và PyTorch. Chúng không chạy được trong bài này: Pyodide là CPython được biên dịch sang WebAssembly trong trình duyệt của bạn, và các thư viện đó đi kèm mã C++ và CUDA/GPU gốc nặng nề không có bản dựng WebAssembly. Nên ta có được trực giác bằng vài dòng numpy, đó chính xác là một lượt truyền xuôi bên dưới. Các framework thêm autograd, GPU và quy mô, không phải ý tưởng mới về bước này.

Để ý các hình dạng: một đầu vào dài 3 qua một ma trận trọng số 3x4 cho 4 giá trị ẩn; qua một ma trận 4x1 cái đó trở thành một đầu ra duy nhất.

Đến lượt bạn

Hoàn thành lượt truyền xuôi. Viết relu(z) bằng np.maximum, rồi tính tầng ẩn h = relu(x @ W1 + b1) và đầu ra out = h @ W2 + b2 bằng các trọng số được cung cấp.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.