Chương trình học Bài 95 trên tổng số 246 · Mô-đun 8: Phòng khám lần chạy I
Mô-đun 8: Phòng khám lần chạy I

Những đầu dò của riêng bạn

Vì sao điều này quan trọng Đầu dò là cách bạn nhìn vào bên trong một lần chạy. Tự viết chúng nghĩa là bạn sẽ biết các con số có ý nghĩa gì khi một công cụ cho bạn xem chúng.

Ba đầu dò làm phần lớn công việc:

  • Kích thước gradient mỗi lớp: độ dài (chuẩn) của gradient của mỗi ma trận trọng số. Tất cả bằng không: không gì học được. Khác nhau dữ dội giữa các lớp: một lớp đang bị bỏ đói.
  • Tỉ lệ chết: phần đơn vị ẩn trả ra không với mọi ví dụ trong một batch.
  • Tỉ lệ cập nhật trên trọng số: tốc độ học nhân kích thước gradient, chia cho kích thước trọng số. Nó cho biết một bước thay đổi bao nhiêu phần của mỗi trọng số. Khoảng 0.001 tới 0.1 là lành mạnh; gần 1 nghĩa là mỗi bước viết lại các trọng số; gần 0 nghĩa là không gì dịch chuyển.

Bộ khung phơi ra phần bên trong của nó: _data(c) cho dữ liệu huấn luyện, _init(c) cho các trọng số ban đầu, và _fb(p, X, y, c) trả về (giá trị mất mát, các gradient, các giá trị kích hoạt ẩn).

Từ và ký hiệu trong bài học này
đầu dò
một phép đo nhanh của một lần chạy, như kích thước gradient hay số đơn vị chết
tỉ lệ cập nhật trên trọng số
một bước thay đổi mỗi trọng số bao nhiêu, so với kích thước của nó
Đến lượt bạn

Viết my_grad_norms(c), my_dead_share(c) và my_update_ratio(c) dùng 256 ví dụ huấn luyện đầu tiên và các trọng số ban đầu. Chúng phải khớp với các đầu dò của phòng khám.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.