Chương trình học Bài 122 trên tổng số 246 · Mô-đun 10: Những mạng biết nhìn (CNN)
Mô-đun 10: Những mạng biết nhìn (CNN)

Dùng lại một mạng đã huấn luyện (học chuyển giao)

Vì sao điều này quan trọng Bạn hiếm khi có nhiều dữ liệu có nhãn cho nhiệm vụ của riêng mình. Một mạng được huấn luyện trên một tập dữ liệu lớn có liên quan vốn đã biết những đặc trưng hữu ích; dùng lại nó cho phép một tập dữ liệu nhỏ xíu đi được rất xa.

Kế hoạch: huấn luyện các lớp conv trên một tập dữ liệu hình dạng lớn, sạch. Rồi đối mặt với một nhiệm vụ mới, khó hơn chỉ với 40 ảnh có nhãn: cùng các hình dạng, nhưng nhiễu hơn nhiều. Giữ các lớp conv đã huấn luyện đông cứng và chỉ huấn luyện một lớp cuối mới trên các đặc trưng được lấy trung bình trên cả ảnh (các đặc trưng không phụ thuộc vị trí khái quát hóa được từ vài ví dụ). So sánh với việc huấn luyện cả mạng từ đầu trên 40 ảnh.

Đông cứng (frozen): các lớp có trọng số không được cập nhật trong khi huấn luyện. Tinh chỉnh (fine-tuning): tiếp tục huấn luyện một mạng đã tiền huấn luyện trên dữ liệu mới.

Từ và ký hiệu trong bài học này
học chuyển giao
dùng lại các lớp đã huấn luyện cho một nhiệm vụ vào một nhiệm vụ khác
RECORDED
một lần chạy thật mà khóa học đã huấn luyện một lần và đưa kèm để bạn nghiên cứu
Đến lượt bạn

Việc tiền huấn luyện đã được khóa học làm một lần và các trọng số của nó được nạp sẵn cho bạn (một mạng đã ghi lại). Viết train_head(w1, w2, X, y, steps) chỉ huấn luyện một lớp đầu ra 16-tới-4 mới phía trên các lớp conv đông cứng (Adam ở 1e-2 là được) và trả về một hàm dự đoán, và train_scratch(X, y, steps) huấn luyện cả ba lớp từ các trọng số ngẫu nhiên mới. Bài kiểm tra chạy cả hai trên 1.000 ảnh kiểm thử nhiễu. Mô hình chuyển giao của bạn phải thắng mạng từ đầu của chính khóa học (thiết lập cố định: 8 và 16 kênh, Adam 3e-3, 300 bước, khoảng 58%) ít nhất 8 điểm; lần chạy chuyển giao của khóa học đạt khoảng 72%. Mạng từ đầu của riêng bạn chỉ cần học được gì đó (trên 35%, trong khi mức ngẫu nhiên là 25%). Nếu cái của bạn thắng mạng từ đầu của khóa học, giỏi lắm: tinh chỉnh tốt việc huấn luyện từ đầu là một kỹ năng thật, và đó cũng là lý do một phép so sánh công bằng cố định các thiết lập từ trước.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.