Bài kiểm tra vượt cấp: ba lần chạy hỏng chưa thấy (tắt AI)
Vì sao điều này quan trọng Tự chẩn đoán, trong một ngân sách, là kỹ năng mà khóa học này đã xây dựng từ Mô-đun 8.
Người hướng dẫn AI tắt. Ba lần chạy, mỗi cái có một lỗi từ các trường hợp huấn luyện của mô-đun này. Chúng là những lần chạy mới, không phải các trường hợp luyện tập: một seed khác, và lỗi ở các mức độ khác, nên những con số bạn nhớ sẽ không khớp. Ngân sách của bạn là tổng cộng 9 đầu dò (huấn luyện một trường hợp được niêm phong tính là một), được đếm qua mọi lần chạy kể từ khi trang được mở (lặp lại một đầu dò trên cùng trường hợp thì miễn phí; một chẩn đoán sai hay một cách sửa không hoạt động tốn một đầu dò).
Mỗi trường hợp bên dưới là một lần huấn luyện có một lỗi được cài vào. Với mỗi cái: dùng các đầu dò để tìm ra lỗi, rồi viết một cách sửa dưới dạng các thay đổi config đưa lần chạy trở về lành mạnh. Các lỗi trong bài học này: any training fault from this module. Một người chẩn đoán giỏi hiếm khi cần nhiều hơn hai đầu dò cho mỗi trường hợp.
| Đầu dò | Nó cho bạn biết gì | Lần chạy lành mạnh |
|---|---|---|
loss_curve(c) | Giá trị mất mát huấn luyện mỗi 25 bước, và giá trị mất mát trên văn bản chưa thấy ở cuối. Luôn nhìn cái này trước. | 4.55 giảm xuống khoảng 2.9; chưa thấy khoảng 3.0 |
loss_at_init(c) | Giá trị mất mát trước khi huấn luyện. Một mô hình mới đoán đều trên 95 ký tự cho ln(95). | 4.55 |
leak_check(c) | Một ký tự phía sau có thể thay đổi một dự đoán phía trước không? | False |
show_batch(c) | Một đầu vào huấn luyện và mục tiêu của nó, dưới dạng văn bản. | mục tiêu = đầu vào dịch sang trái một ký tự |
update_ratio(c) | Sau bước Adam đầu tiên, các trọng số đã dịch bao xa so với kích thước của chúng. Không phải quy tắc của Mô-đun 8: khoảng 0.001 tới 0.1 đó là cho các bước SGD thuần. Bước đầu tiên của Adam dịch mọi trọng số khoảng bằng tốc độ học dù gradient của nó là gì, và các trọng số này bắt đầu gần 0.02, nên 0.01 / 0.02 cho khoảng 0.5. Hãy so sánh một trường hợp với lần chạy lành mạnh này, không phải với khoảng của Mô-đun 8. | khoảng 0.5 |
block_change(c) | Khối đầu tiên thay đổi mỗi vector bao nhiêu lúc bắt đầu. | khoảng 0.3 |
Từ và ký hiệu trong bài học này
- ln(V)
- giá trị mất mát ban đầu của một mô hình đoán đều trên V ký hiệu: 4.55 với 95 ký tự
- block change
- một khối thay đổi một vector bao nhiêu lúc bắt đầu; gần 1 nghĩa là nó đã thay thế vector đó
Điền diagnosis (trường hợp tới tên lỗi) và fixes (trường hợp tới một dict các thay đổi config) cho các trường hợp A, B và C. Sau cách sửa của bạn, mọi thiết lập phải khớp với lần chạy lành mạnh.
Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.