Một CNN nhỏ trên chữ số
Vì sao điều này quan trọng Đây là ý tưởng của LeNet từ năm 1998: tích chập, pooling, tích chập, pooling, rồi một bộ phân loại. Dựng nó từ các lớp của khóa học mà bạn đã giành được và xem nó thắng MLP trên các chữ số bị dịch.
Thư viện của khóa học nnsim.engine có các lớp bạn đã dựng: conv (3 x 3, padding same), relu, pool2 (trung bình 2 x 2), gap (global average pooling), matmul, cross_entropy và Adam. Một trọng số conv cho các bộ lọc 3 x 3 từ C_in tới C_out kênh có shape (9 * C_in, C_out).
Thư viện của khóa học, trong một tấm thẻ (hãy giữ nó trong tầm tay cho phần còn lại của khóa học; print(E.GUIDE) cho thấy nó lại ở bất kỳ bài học nào)
E.T(array)bọc các con số thành một tensor..datalà mảng (float32);.gradlàNonecho tới khibackward()tới được nó.loss.backward()điền.gradtrên mọi tensor mà giá trị mất mát phụ thuộc vào.opt = E.Adam(params, lr)nhận một list các tensor.opt.step()cập nhật mọi cái có gradient rồi đặt.gradcủa nó trở lạiNone, nên bạn không bao giờ phải tự đặt gradient về không.- Ảnh là kênh-ở-cuối: (batch, rows, columns, channels).
E.conv(x, w)giữ nguyên kích thước (padding same) và biến C kênh thành F vớiwshape (9 * C, F).E.pool2giảm một nửa số hàng và cột;E.gaplấy trung bình bỏ chúng đi, cho (batch, channels). E.cross_entropy(logits, y): logits (batch, classes) dưới dạng một tensor, y là một mảng số nguyên thường. Nó trả về một tensor giữ một con số;float(loss.data)đọc nó.- Cả một bước huấn luyện là ba dòng:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - Các lần chạy đã ghi lại:
print(R.experiment(name))liệt kê các thiết lập của nó và tên các số liệu của nó;run = exp.run(setting=value, ...), rồirun.loss(các cặp bước và giá trị mất mát),run.metrics(một dict) vàrun.final_loss.
Đoán đường cong với biểu đồ: hãy đoán giá trị mất mát huấn luyện sau epoch 1 và sau epoch 8 (cuối cùng).
Từ và ký hiệu trong bài học này
- tích chập
- trượt một lưới nhỏ các trọng số (một bộ lọc) trên một ảnh, một tích vô hướng cho mỗi vị trí
- bộ lọc, bản đồ đặc trưng
- lưới nhỏ các trọng số đã học; và ảnh các phản hồi của nó
- padding (p), stride (s)
- các số không được thêm quanh mép; bộ lọc dịch bao nhiêu điểm ảnh mỗi bước
- pooling
- thu nhỏ một bản đồ bằng cách giữ giá trị lớn nhất hay trung bình của mỗi khối
- RECORDED
- một lần chạy thật mà khóa học đã huấn luyện một lần và đưa kèm để bạn nghiên cứu
Điền my_guess, rồi viết train(epochs, seed) trả về một hàm predict(X). Dùng conv(1 tới 16) + relu, conv(16 tới 32) + relu, global average pooling, rồi một lớp tuyến tính tới 10 lớp. Đạt ít nhất 90% trên các chữ số kiểm thử, và ít nhất 60% trên các chữ số kiểm thử bị dịch 2 điểm ảnh (nơi MLP đạt khoảng 21%). Điểm trên ảnh bị dịch dao động nhiều từ seed này sang seed khác (câu trả lời của chính khóa học đạt 0.76 tới 0.89 qua năm seed), nên mức qua nằm thấp hơn hẳn mức đó. Adam ở tốc độ học khoảng 1e-2 hoạt động ở đây; với 3e-3 mạng nhỏ này học quá chậm cho bài học.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.