Chương trình học Bài 119 trên tổng số 246 · Mô-đun 10: Những mạng biết nhìn (CNN)
Mô-đun 10: Những mạng biết nhìn (CNN)

Một CNN nhỏ trên chữ số

Vì sao điều này quan trọng Đây là ý tưởng của LeNet từ năm 1998: tích chập, pooling, tích chập, pooling, rồi một bộ phân loại. Dựng nó từ các lớp của khóa học mà bạn đã giành được và xem nó thắng MLP trên các chữ số bị dịch.

Thư viện của khóa học nnsim.engine có các lớp bạn đã dựng: conv (3 x 3, padding same), relu, pool2 (trung bình 2 x 2), gap (global average pooling), matmul, cross_entropy và Adam. Một trọng số conv cho các bộ lọc 3 x 3 từ C_in tới C_out kênh có shape (9 * C_in, C_out).

Thư viện của khóa học, trong một tấm thẻ (hãy giữ nó trong tầm tay cho phần còn lại của khóa học; print(E.GUIDE) cho thấy nó lại ở bất kỳ bài học nào)

  • E.T(array) bọc các con số thành một tensor. .data là mảng (float32); .grad là None cho tới khi backward() tới được nó.
  • loss.backward() điền .grad trên mọi tensor mà giá trị mất mát phụ thuộc vào.
  • opt = E.Adam(params, lr) nhận một list các tensor. opt.step() cập nhật mọi cái có gradient rồi đặt .grad của nó trở lại None, nên bạn không bao giờ phải tự đặt gradient về không.
  • Ảnh là kênh-ở-cuối: (batch, rows, columns, channels). E.conv(x, w) giữ nguyên kích thước (padding same) và biến C kênh thành F với w shape (9 * C, F). E.pool2 giảm một nửa số hàng và cột; E.gap lấy trung bình bỏ chúng đi, cho (batch, channels).
  • E.cross_entropy(logits, y): logits (batch, classes) dưới dạng một tensor, y là một mảng số nguyên thường. Nó trả về một tensor giữ một con số; float(loss.data) đọc nó.
  • Cả một bước huấn luyện là ba dòng: loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step().
  • Các lần chạy đã ghi lại: print(R.experiment(name)) liệt kê các thiết lập của nó và tên các số liệu của nó; run = exp.run(setting=value, ...), rồi run.loss (các cặp bước và giá trị mất mát), run.metrics (một dict) và run.final_loss.

Đoán đường cong với biểu đồ: hãy đoán giá trị mất mát huấn luyện sau epoch 1 và sau epoch 8 (cuối cùng).

Từ và ký hiệu trong bài học này
tích chập
trượt một lưới nhỏ các trọng số (một bộ lọc) trên một ảnh, một tích vô hướng cho mỗi vị trí
bộ lọc, bản đồ đặc trưng
lưới nhỏ các trọng số đã học; và ảnh các phản hồi của nó
padding (p), stride (s)
các số không được thêm quanh mép; bộ lọc dịch bao nhiêu điểm ảnh mỗi bước
pooling
thu nhỏ một bản đồ bằng cách giữ giá trị lớn nhất hay trung bình của mỗi khối
RECORDED
một lần chạy thật mà khóa học đã huấn luyện một lần và đưa kèm để bạn nghiên cứu
Đến lượt bạn

Điền my_guess, rồi viết train(epochs, seed) trả về một hàm predict(X). Dùng conv(1 tới 16) + relu, conv(16 tới 32) + relu, global average pooling, rồi một lớp tuyến tính tới 10 lớp. Đạt ít nhất 90% trên các chữ số kiểm thử, và ít nhất 60% trên các chữ số kiểm thử bị dịch 2 điểm ảnh (nơi MLP đạt khoảng 21%). Điểm trên ảnh bị dịch dao động nhiều từ seed này sang seed khác (câu trả lời của chính khóa học đạt 0.76 tới 0.89 qua năm seed), nên mức qua nằm thấp hơn hẳn mức đó. Adam ở tốc độ học khoảng 1e-2 hoạt động ở đây; với 3e-3 mạng nhỏ này học quá chậm cho bài học.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.