Công thức: hai phép kiểm tra trước mọi thứ khác
Vì sao điều này quan trọng Phần lớn những lần chạy hỏng có thể bị bắt trong một phút bằng hai phép kiểm tra rẻ, trước khi bạn tốn một giờ huấn luyện.
Những người thực hành giàu kinh nghiệm bắt đầu mọi thiết lập mới theo cùng một cách:
- Kiểm tra giá trị mất mát lúc bắt đầu. Trước khi huấn luyện, một mô hình 10 lớp không biết gì gán cho mỗi lớp khoảng 0.1, nên giá trị mất mát của nó nên khoảng -ln(0.1) = 2.30. Cao hơn nhiều nghĩa là có thứ gì đó bị co giãn sai. Thấp hơn nhiều nghĩa là câu trả lời đang tới mô hình qua các đầu vào của nó. Không phải rò rỉ nào cũng lộ ra ở đây: khi ảnh kiểm định cũng nằm trong tập huấn luyện, giá trị mất mát ban đầu bình thường (lần chạy lành mạnh của phòng khám này và trường hợp rò rỉ của nó đều bắt đầu ở 2.46), và chỉ một điểm kiểm định quá tốt mới để lộ nó.
- Quá khớp một batch. Huấn luyện trên một batch nhỏ duy nhất trong vài trăm bước. Bất kỳ mô hình và vòng lặp huấn luyện nào hoạt động đều có thể học thuộc 32 ví dụ và đẩy giá trị mất mát về gần không. Nếu nó không làm được, lỗi nằm trong mô hình, hàm mất mát hay các gradient, và bạn đã tìm ra nó mà không cần đụng tới toàn bộ dữ liệu.
- Chỉ khi đó, mới mở rộng lên lần chạy đầy đủ.
Phòng khám này là một bộ phân loại chữ số nhỏ mà bạn có thể cố ý làm hỏng. config(**changes) tạo một thiết lập; train(c) chạy nó.
| Đầu dò | Nó cho bạn biết gì |
|---|---|
loss_curve(c) | Giá trị mất mát huấn luyện mỗi 50 bước và độ chính xác kiểm định cuối cùng. Luôn nhìn cái này trước. |
loss_at_init(c) | Giá trị mất mát trước khi huấn luyện. Một mô hình 10 lớp mới nên ở gần ln(10) = 2.30. |
overfit_one_batch(c) | Nó có học thuộc được 32 ví dụ không? Một thiết lập lành mạnh đạt gần 0. |
grad_norms(c) | Kích thước gradient cho mỗi ma trận trọng số lúc bắt đầu. Bằng không nghĩa là không gì học được. |
update_ratio(c) | Kích thước bước SGD thuần so với kích thước trọng số. Lành mạnh là khoảng 0.001 tới 0.1 (một quy tắc kinh nghiệm cho SGD thuần; Mô-đun 14 cho thấy vì sao Adam khác). |
act_stats(c) | Các giá trị kích hoạt ẩn: trung bình, giá trị lớn nhất, tỉ lệ đơn vị chết. |
lr_schedule(c) | Tốc độ học ở các bước 0, 50, 100 và cứ thế. |
batch_labels(c) | Các nhãn trong vài batch đầu tiên. |
overlap(c) | Bao nhiêu ví dụ kiểm định cũng xuất hiện trong tập huấn luyện. |
Từ và ký hiệu trong bài học này
- đầu dò
- một phép đo nhanh của một lần chạy, như kích thước gradient hay số đơn vị chết
- quá khớp một batch
- kiểm tra một thiết lập có học thuộc được vài ví dụ không
Viết sanity(c) trả về một dict với init_ok (giá trị mất mát lúc bắt đầu nằm trong khoảng 0.3 quanh 2.30) và can_overfit (giá trị mất mát quá khớp một batch dưới 0.1), dùng các đầu dò. Áp dụng nó cho thiết lập lành mạnh và cho suspect.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.