Một lượt truyền xuôi hai tầng
Một nơ-ron là một đường thẳng. Xếp một tầng các nơ-ron, thêm một phi tuyến, rồi đưa nó vào một tầng khác, và mạng có thể uốn để khớp gần như mọi thứ. Đưa dữ liệu chạy qua các tầng để có đầu ra được gọi là lượt truyền xuôi (forward pass).
Một tầng chỉ là một phép nhân ma trận: mỗi cột của ma trận trọng số là trọng số của một nơ-ron. Với numpy, cả tầng là x @ W + b (toán tử @ là phép nhân ma trận).
Giữa các tầng ta áp dụng một hàm kích hoạt phi tuyến. Các mạng hiện đại ưa chuộng ReLU (Rectified Linear Unit), đơn giản là max(0, z): giữ số dương, biến số âm thành không. Không có phi tuyến, việc xếp chồng các tầng sẽ sụp lại thành một đường thẳng duy nhất.
import numpy as np
def relu(z):
return np.maximum(0, z)
h = relu(x @ W1 + b1) # hidden layer
out = h @ W2 + b2 # output layerVì sao ở đây ta làm việc này bằng numpy
Các framework thật cho việc này là TensorFlow và PyTorch. Chúng không chạy được trong bài này: Pyodide là CPython được biên dịch sang WebAssembly trong trình duyệt của bạn, và các thư viện đó đi kèm mã C++ và CUDA/GPU gốc nặng nề không có bản dựng WebAssembly. Nên ta có được trực giác bằng vài dòng numpy, đó chính xác là một lượt truyền xuôi bên dưới. Các framework thêm autograd, GPU và quy mô, không phải ý tưởng mới về bước này.
Để ý các hình dạng: một đầu vào dài 3 qua một ma trận trọng số 3x4 cho 4 giá trị ẩn; qua một ma trận 4x1 cái đó trở thành một đầu ra duy nhất.
Hoàn thành lượt truyền xuôi. Viết relu(z) bằng np.maximum, rồi tính tầng ẩn h = relu(x @ W1 + b1) và đầu ra out = h @ W2 + b2 bằng các trọng số được cung cấp.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.