SimCLR: hai góc nhìn của một bức ảnh
Vì sao điều này quan trọng Giờ là toàn bộ phương pháp: các góc nhìn ngẫu nhiên cộng InfoNCE, lặp lại. Không có nhãn ở bất kỳ thời điểm nào. Điều nó học được phụ thuộc gần như hoàn toàn vào một lựa chọn bạn đưa ra: những khác biệt nào giữa hai góc nhìn nó được bảo phải bỏ qua.
Mỗi bước: lấy một batch ảnh, tạo hai góc nhìn ngẫu nhiên cho mỗi ảnh bằng ssl.augment, mã hóa cả hai, chiếu chúng bằng một đầu nhỏ, và tối thiểu hóa InfoNCE. Các phép tăng cường định nghĩa nhiệm vụ: bất cứ thứ gì khác nhau giữa hai góc nhìn của một ảnh (vị trí cắt, ảnh soi gương, độ sáng, độ bão hòa) là thứ mạng học cách bỏ qua. Bất cứ thứ gì giữ nguyên (vật thể) là thứ nó học cách giữ lại.
Các lần chạy SimCLR thật dùng hàng nghìn bước và batch lớn. Ở đây bạn chạy trực tiếp một lần ngắn (độ rộng 8, batch 32, 80 bước) để xem giá trị mất mát giảm, rồi đọc các lần chạy dài đã ghi lại của khóa học (độ rộng 32, 2500 bước, mỗi bước 128).
Các lần chạy đã ghi lại gồm hai biến thể của cùng công thức: thêm một phép xoay sắc độ ngẫu nhiên vào các góc nhìn (bài báo SimCLR thấy các thay đổi màu mạnh là thiết yếu trên ảnh của nó), và một nhiệt độ cao hơn (0.5).
Lĩnh vực này hiện đang ở đâu SimCLR cần nhiều mẫu âm (các ảnh khác trong batch), nên nó huấn luyện tốt nhất với batch rất lớn (bài báo dùng 4.096). Các phương pháp sau bỏ các mẫu âm: BYOL (2020) và DINO (2021) huấn luyện một mạng khớp với một bản sao được cập nhật chậm của chính nó, và MAE (2021) giấu ba phần tư các mảng của một bức ảnh và dựng lại chúng, phiên bản ảnh của bài điền vào chỗ trống trong mô-đun này. Với văn bản, cùng sự phân chia đó tồn tại: dự đoán có che (BERT) và dự đoán token tiếp theo (GPT).
Từ và ký hiệu trong bài học này
- dự đoán có che
- giấu một phần đầu vào và huấn luyện mạng điền nó vào
- góc nhìn
- một bản sao được thay đổi ngẫu nhiên của một bức ảnh: bị cắt, lật, sáng hơn, ít màu hơn
- tăng cường
- thay đổi ngẫu nhiên tạo ra một góc nhìn; nó quyết định mạng học cách bỏ qua điều gì
- InfoNCE
- cross-entropy trên một câu hỏi mà batch tự đặt ra: góc nhìn nào khác tới từ cùng bức ảnh?
- nhiệt độ
- thứ mà các độ tương đồng được chia cho trước softmax; nhỏ hơn làm lựa chọn sắc nét hơn
- SimCLR
- huấn luyện tự giám sát với hai góc nhìn của mỗi bức ảnh và InfoNCE (Chen và cộng sự 2020)
Chạy phần tiền huấn luyện trực tiếp và điền live với giá trị mất mát trung bình qua 10 bước đầu và 10 bước cuối. Rồi điền report từ các lần chạy đã ghi lại: độ chính xác đầu dò (các vật thể gốc) cho điểm ảnh thô, bộ mã hóa ngẫu nhiên, SimCLR, SimCLR có xoay sắc độ, và có giám sát, cộng với gap, SimCLR kém có giám sát bao nhiêu, dưới dạng phân số (0.05 nghĩa là 5 điểm). Cuối cùng gán hue_helped là True hoặc False.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.