Những đầu dò của riêng bạn
Vì sao điều này quan trọng Đầu dò là cách bạn nhìn vào bên trong một lần chạy. Tự viết chúng nghĩa là bạn sẽ biết các con số có ý nghĩa gì khi một công cụ cho bạn xem chúng.
Ba đầu dò làm phần lớn công việc:
- Kích thước gradient mỗi lớp: độ dài (chuẩn) của gradient của mỗi ma trận trọng số. Tất cả bằng không: không gì học được. Khác nhau dữ dội giữa các lớp: một lớp đang bị bỏ đói.
- Tỉ lệ chết: phần đơn vị ẩn trả ra không với mọi ví dụ trong một batch.
- Tỉ lệ cập nhật trên trọng số: tốc độ học nhân kích thước gradient, chia cho kích thước trọng số. Nó cho biết một bước thay đổi bao nhiêu phần của mỗi trọng số. Khoảng 0.001 tới 0.1 là lành mạnh; gần 1 nghĩa là mỗi bước viết lại các trọng số; gần 0 nghĩa là không gì dịch chuyển.
Bộ khung phơi ra phần bên trong của nó: _data(c) cho dữ liệu huấn luyện, _init(c) cho các trọng số ban đầu, và _fb(p, X, y, c) trả về (giá trị mất mát, các gradient, các giá trị kích hoạt ẩn).
Từ và ký hiệu trong bài học này
- đầu dò
- một phép đo nhanh của một lần chạy, như kích thước gradient hay số đơn vị chết
- tỉ lệ cập nhật trên trọng số
- một bước thay đổi mỗi trọng số bao nhiêu, so với kích thước của nó
Viết my_grad_norms(c), my_dead_share(c) và my_update_ratio(c) dùng 256 ví dụ huấn luyện đầu tiên và các trọng số ban đầu. Chúng phải khớp với các đầu dò của phòng khám.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.