Chương trình học Bài 49 trên tổng số 246 · Mô-đun 3: Từ nơ-ron tới MLP
Mô-đun 3: Từ nơ-ron tới MLP

Một bộ đọc chữ số bằng NumPy thuần

Vì sao điều này quan trọng Đây là một mạng nơ-ron thật đọc chữ viết tay thật, với mọi dòng do bạn viết. Nó là mạng đầu tiên kinh điển, được dựng mà không cần thư viện.

Dữ liệu là 1.797 chữ số viết tay, mỗi cái là một ảnh 8 x 8 được làm phẳng thành 64 con số (một người họ hàng nhỏ, độ phân giải thấp của bộ MNIST 28 x 28 nổi tiếng, từ một bộ sưu tập khác). Mạng là mạng từ bài học trước: 64 đầu vào, một lớp ẩn 64 nơ-ron ReLU, và 10 đầu ra.

Vòng lặp huấn luyện

  1. Khởi tạo các trọng số nhỏ và ngẫu nhiên: rng.normal(0, 0.1, shape), các độ lệch bằng không.
  2. Mỗi epoch, xáo trộn dữ liệu huấn luyện và đi qua nó theo các minibatch 32.
  3. Với mỗi minibatch, chạy forward_backward và cho mọi trọng số bước ngược với gradient của nó.

Minibatch: một lát nhỏ ngẫu nhiên của dữ liệu được dùng cho một bước. Nó nhanh hơn nhiều so với dùng toàn bộ dữ liệu mỗi bước, và nhiễu thậm chí còn giúp ích.

Đoán đường cong: hãy đoán giá trị mất mát huấn luyện sau epoch 1 và sau epoch 20 trong my_guess.

Tóm tắt Xáo trộn, cắt lát, xuôi, ngược, bước. Lặp lại.

Từ và ký hiệu trong bài học này
nơ-ron
w . x + b, rồi một hàm kích hoạt
trọng số (w, W), độ lệch (b)
các con số mà một nơ-ron học; độ lệch dời đầu ra của nó
ReLU
max(0, z): giữ số dương, đưa số âm về không
tốc độ học (lr)
mỗi bước huấn luyện lớn tới đâu
lớp ẩn
một lớp giữa đầu vào và đầu ra dựng nên các đặc trưng mới
Đến lượt bạn

Dùng forward_backward của bạn, viết train(X, y, hidden, lr, epochs, seed) trả về một dict các trọng số, và predict(params, X) trả về chữ số được dự đoán cho mỗi hàng. Điền my_guess. Bài kiểm tra được giấu đo độ chính xác trên 397 chữ số bạn chưa bao giờ huấn luyện: đạt ít nhất 95%. (lr 0.5, 20 epoch, 64 nơ-ron ẩn là được.)

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.