Bài kiểm tra vượt cấp: ba lần chạy hỏng chưa thấy (tắt AI)
Vì sao điều này quan trọng Tự chẩn đoán, trong một ngân sách, là kỹ năng mà mô-đun này nhắm tới.
Người hướng dẫn AI tắt. Ba lần chạy, mỗi cái có một lỗi từ bất kỳ đâu trong mô-đun này. Chúng là những lần chạy mới, không phải các trường hợp luyện tập: seed khác, một kích thước batch khác, và lỗi ở các mức độ khác, nên các con số bạn nhớ từ lúc luyện tập sẽ không khớp. Ngân sách của bạn là tổng cộng 9 đầu dò (huấn luyện một trường hợp được niêm phong tính là một), được đếm qua mọi lần chạy kể từ khi trang được mở (lặp lại một đầu dò trên cùng trường hợp thì miễn phí; một chẩn đoán sai hay một cách sửa không hoạt động tốn một đầu dò).
Mỗi trường hợp bên dưới là một lần huấn luyện có một lỗi được cài vào. Với mỗi cái: dùng các đầu dò để tìm ra lỗi, rồi viết một cách sửa dưới dạng các thay đổi config. Các lỗi trong bài học này: any fault from this module. Càng ít đầu dò càng tốt; một người chẩn đoán giỏi hiếm khi cần nhiều hơn hai cho mỗi trường hợp.
| Đầu dò | Nó cho bạn biết gì |
|---|---|
loss_curve(c) | Giá trị mất mát huấn luyện mỗi 50 bước và độ chính xác kiểm định cuối cùng. Luôn nhìn cái này trước. |
loss_at_init(c) | Giá trị mất mát trước khi huấn luyện. Một mô hình 10 lớp mới nên ở gần ln(10) = 2.30. |
overfit_one_batch(c) | Nó có học thuộc được 32 ví dụ không? Một thiết lập lành mạnh đạt gần 0. |
grad_norms(c) | Kích thước gradient cho mỗi ma trận trọng số lúc bắt đầu. Bằng không nghĩa là không gì học được. |
update_ratio(c) | Kích thước bước SGD thuần so với kích thước trọng số. Lành mạnh là khoảng 0.001 tới 0.1 (một quy tắc kinh nghiệm cho SGD thuần; Mô-đun 14 cho thấy vì sao Adam khác). |
act_stats(c) | Các giá trị kích hoạt ẩn: trung bình, giá trị lớn nhất, tỉ lệ đơn vị chết. |
lr_schedule(c) | Tốc độ học ở các bước 0, 50, 100 và cứ thế. |
batch_labels(c) | Các nhãn trong vài batch đầu tiên. |
overlap(c) | Bao nhiêu ví dụ kiểm định cũng xuất hiện trong tập huấn luyện. |
Từ và ký hiệu trong bài học này
- đầu dò
- một phép đo nhanh của một lần chạy, như kích thước gradient hay số đơn vị chết
Điền diagnosis (trường hợp tới tên lỗi) và fixes (trường hợp tới một dict các thay đổi config) cho các trường hợp A, B và C. Một cách sửa phải loại bỏ lỗi và huấn luyện đạt ít nhất 90% độ chính xác kiểm định.
Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.