Các mạng sâu hơn, và những lần chạy đã ghi lại
Vì sao điều này quan trọng Xếp chồng thêm lớp lẽ ra nên giúp ích, cho tới khi đột nhiên nó không giúp nữa. Khóa học đã huấn luyện thí nghiệm này trên máy của riêng nó để bạn có thể xem cả mười tám lần chạy trong vài giây.
Thí nghiệm đã ghi lại cnn-depth-shortcuts đã huấn luyện các CNN với 2, 8 và 20 lớp conv (mỗi lớp 16 kênh) trên tập dữ liệu hình dạng, mỗi cái có và không có lối tắt (cộng đầu vào của một khối vào đầu ra của nó, từ Mô-đun 6), và mỗi cái với ba seed. Mọi thứ khác đều giống hệt: 2.000 ảnh huấn luyện, 4 epoch, Adam. Phát lại là tức thì vì không có gì huấn luyện; bạn đang đọc những gì đã thật sự xảy ra.
Ba seed, vì Mô-đun 9 nói đúng: một lần chạy có thể gây lạc lối. Hãy nhìn độ phân tán của mỗi thiết lập, không chỉ trung bình của nó.
Đoán đường cong trước: thiết lập nào kết thúc với độ chính xác kiểm thử trung bình cao nhất, và mạng thuần 20 lớp có học được ở mọi seed không?
Lần chạy đã ghi lại (recorded run): một lần huấn luyện thật mà khóa học đã làm một lần và đưa kèm, để các bài học có thể nghiên cứu những lần chạy quá lớn hay quá nhiều để huấn luyện trực tiếp trên mọi máy tính xách tay. Mọi bản in ra đều ghi RECORDED.
Từ và ký hiệu trong bài học này
- RECORDED
- một lần chạy thật mà khóa học đã huấn luyện một lần và đưa kèm để bạn nghiên cứu
Gán my_best là cặp (depth, shortcuts) mà bạn nghĩ kết thúc cao nhất về trung bình, và my_plain20_reliable là True nếu bạn nghĩ mạng thuần 20 lớp học được ở cả ba seed. Rồi dùng nnsim.recorded để điền final_acc: (depth, shortcuts) tới list độ chính xác kiểm thử cuối cùng của ba seed (seed 0 trước), gán mean_acc là trung bình của mỗi list, và best là cặp có trung bình cao nhất. exp.seeds(depth=..., shortcuts=...) cho ba lần chạy của một thiết lập. Mức ngẫu nhiên là 0.25 (bốn hình dạng).
Cuối cùng, dùng quy tắc nhiễu của Mô-đun 9 để nói thiết lập nào thật sự khác nhau. Với ba seed mỗi cái, hai trung bình khác nhau thật chỉ khi khoảng cách lớn hơn khoảng 2 × s × sqrt(2/3), trong đó s là độ phân tán seed lớn hơn của hai thiết lập (np.std của ba giá trị). Bất cứ thứ gì gần hơn là hòa.
Gán ties_with_best là list mọi cặp hòa với best theo quy tắc đó, kể cả chính best.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.