강의 계획 레슨 246개 중 196번째 · 모듈 18: 레이블 없이 배우기
모듈 18: 레이블 없이 배우기

배치에서 자기 짝 골라내기(InfoNCE)

왜 중요한가 SimCLR의 훈련 신호 전체가 손실 하나이고, 이미 알아요: 신경망이 스스로 정하는 객관식 질문에 대한 교차 엔트로피예요.

사진 n장의 배치를 가져와서 각각의 무작위 뷰 둘을 만드세요(자르기, 뒤집기, 밝기와 색 바꾸기). 그러면 뷰가 2n개예요. 각 뷰에 대한 질문은: 다른 2n - 1개 뷰 중 어느 것이 같은 사진에서 왔나? 정확히 하나가 그래요.

  1. 모든 뷰를 짧은 벡터 z로 인코딩하고, 각 z를 길이 1로 맞추세요.
  2. 두 뷰의 유사도 = 그 내적(코사인)을 온도(여기서는 0.2)로 나눈 것: 작은 온도가 점수를 날카롭게 해요.
  3. 뷰는 자기 자신을 고르면 안 돼요: 자기 점수는 마이너스 무한대로 설정해요.
  4. 교차 엔트로피, 정답은 짝: 뷰 i의 짝은 i + n이에요(그리고 반대도).

장면을 보세요: 사진 여섯 장, 각각 뷰 둘, 유사도 격자, 그리고 각 행의 선택.

작은 숫자

사진 두 장, 그래서 뷰 넷. 뷰 0의 뷰 1, 2, 3에 대한 유사도가 0.1, 0.9, 0.2라면(짝은 뷰 2), 0.2로 나누면 0.5, 4.5, 1.0이 돼요. Softmax는 짝에 0.954를 주고, 뷰 0의 손실은 -log 0.954 = 0.047이에요.

이 레슨의 단어와 기호
뷰
그림을 무작위로 바꾼 사본: 자르고, 뒤집고, 더 밝게, 덜 화려하게
InfoNCE
배치가 스스로 정하는 질문에 대한 교차 엔트로피: 다른 어떤 뷰가 같은 그림에서 왔나?
온도
softmax 전에 유사도를 나누는 값. 작을수록 선택이 날카로워요
SimCLR
각 그림의 뷰 둘과 InfoNCE로 하는 자기 지도 훈련(Chen et al. 2020)
내 차례

모양 (2n, d)인 z에 대해 2n개 행 전체에 걸친 평균 손실을 반환하는 info_nce(z, temperature)를 평범한 NumPy로 쓰세요. 그다음 example을 계산하세요: 시작 코드의 뷰 네 개짜리 배치에 대한 손실.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.