Chương trình học Bài 196 trên tổng số 246 · Mô-đun 18: Học không cần nhãn
Mô-đun 18: Học không cần nhãn

Chọn bạn đồng hành của bạn trong batch (InfoNCE)

Vì sao điều này quan trọng Toàn bộ tín hiệu huấn luyện của SimCLR là một giá trị mất mát, và bạn đã biết nó: nó là cross-entropy, trên một câu hỏi trắc nghiệm mà mạng tự đặt ra.

Lấy một batch n ảnh và tạo hai góc nhìn ngẫu nhiên cho mỗi ảnh (cắt, lật, đổi độ sáng và màu). Điều đó cho 2n góc nhìn. Với mỗi góc nhìn, câu hỏi là: trong 2n - 1 góc nhìn còn lại, góc nhìn nào tới từ cùng bức ảnh? Đúng một góc nhìn.

  1. Mã hóa mọi góc nhìn thành một vector ngắn z, và co giãn mỗi z về độ dài 1.
  2. Độ tương đồng của hai góc nhìn = tích vô hướng của chúng (cosine), chia cho một nhiệt độ (ở đây 0.2): nhiệt độ nhỏ làm các điểm số sắc nét hơn.
  3. Một góc nhìn không được chọn chính nó: điểm của chính nó được đặt thành trừ vô cùng.
  4. Cross-entropy, với đáp án đúng là bạn đồng hành: bạn đồng hành của góc nhìn i là i + n (và ngược lại).

Hãy xem cảnh: sáu bức ảnh, mỗi ảnh hai góc nhìn, lưới các độ tương đồng, và lựa chọn của mỗi hàng.

Những con số nhỏ xíu

Hai ảnh, vậy là bốn góc nhìn. Nếu độ tương đồng của góc nhìn 0 với các góc nhìn 1, 2, 3 là 0.1, 0.9, 0.2 (bạn đồng hành của nó là góc nhìn 2), chia cho 0.2 chúng thành 0.5, 4.5, 1.0. Softmax cho bạn đồng hành 0.954, và giá trị mất mát của góc nhìn 0 là -log 0.954 = 0.047.

Từ và ký hiệu trong bài học này
góc nhìn
một bản sao được thay đổi ngẫu nhiên của một bức ảnh: bị cắt, lật, sáng hơn, ít màu hơn
InfoNCE
cross-entropy trên một câu hỏi mà batch tự đặt ra: góc nhìn nào khác tới từ cùng bức ảnh?
nhiệt độ
thứ mà các độ tương đồng được chia cho trước softmax; nhỏ hơn làm lựa chọn sắc nét hơn
SimCLR
huấn luyện tự giám sát với hai góc nhìn của mỗi bức ảnh và InfoNCE (Chen và cộng sự 2020)
Đến lượt bạn

Viết info_nce(z, temperature) bằng NumPy thuần cho z có shape (2n, d), trả về giá trị mất mát trung bình trên cả 2n hàng. Rồi tính example: giá trị mất mát cho batch bốn góc nhìn trong mã khởi đầu.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.