Kiểm tra đặc trưng bằng một bộ phân loại đơn giản (đầu dò tuyến tính)
Vì sao điều này quan trọng Láng giềng gần nhất cho một câu trả lời thô. Bài kiểm tra tiêu chuẩn cho đặc trưng đã học là một đầu dò tuyến tính: đóng băng các đặc trưng, chỉ huấn luyện một bộ phân loại tuyến tính bên trên với vài nhãn, và đo nó trên ảnh mới. Nếu một đường thẳng có thể tách các vật thể, các đặc trưng đã làm phần việc khó.
Đầu dò là hồi quy softmax của Mô-đun 3, trên đặc trưng thay vì điểm ảnh:
- Chuẩn hóa mỗi đặc trưng bằng trung bình và độ phân tán của tập huấn luyện (và dùng cùng các con số đó trên tập kiểm tra).
- Gradient descent trên cross-entropy, tất cả các hàng huấn luyện cùng lúc: 1000 bước, cỡ bước 0.5, weight decay 0.001.
- Độ chính xác trên các ảnh kiểm tra.
Nó cố tình yếu: một mô hình tuyến tính với 400 nhãn. Đó chính là mục đích. Nó không thể tự nghĩ ra đặc trưng tốt; nó chỉ có thể đọc những gì các đặc trưng đã nói.
Từ và ký hiệu trong bài học này
- đầu dò tuyến tính
- một bộ phân loại tuyến tính huấn luyện trên các đặc trưng bị đóng băng: một bài kiểm tra xem các đặc trưng đã nói gì
- SimCLR
- huấn luyện tự giám sát với hai góc nhìn của mỗi bức ảnh và InfoNCE (Chen và cộng sự 2020)
Viết my_probe(F_train, y_train, F_test, y_test) như đã mô tả (trọng số và bias bắt đầu ở không). Rồi điền accuracy cho một bộ mã hóa ngẫu nhiên (ssl.Encoder(32, seed=0)) và bộ mã hóa SimCLR đã ghi lại bằng đầu dò của bạn. Đường cơ sở điểm ảnh thô (768 con số mỗi ảnh) được tính sẵn cho bạn bằng đầu dò của khóa học, thứ làm cùng phép tính bằng float32 trên phép nhân ma trận nhanh: phiên bản float64 của bạn sẽ mất nửa phút với 768 đầu vào trong trình duyệt.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.