배치에서 자기 짝 골라내기(InfoNCE)
왜 중요한가 SimCLR의 훈련 신호 전체가 손실 하나이고, 이미 알아요: 신경망이 스스로 정하는 객관식 질문에 대한 교차 엔트로피예요.
사진 n장의 배치를 가져와서 각각의 무작위 뷰 둘을 만드세요(자르기, 뒤집기, 밝기와 색 바꾸기). 그러면 뷰가 2n개예요. 각 뷰에 대한 질문은: 다른 2n - 1개 뷰 중 어느 것이 같은 사진에서 왔나? 정확히 하나가 그래요.
- 모든 뷰를 짧은 벡터 z로 인코딩하고, 각 z를 길이 1로 맞추세요.
- 두 뷰의 유사도 = 그 내적(코사인)을 온도(여기서는 0.2)로 나눈 것: 작은 온도가 점수를 날카롭게 해요.
- 뷰는 자기 자신을 고르면 안 돼요: 자기 점수는 마이너스 무한대로 설정해요.
- 교차 엔트로피, 정답은 짝: 뷰 i의 짝은 i + n이에요(그리고 반대도).
장면을 보세요: 사진 여섯 장, 각각 뷰 둘, 유사도 격자, 그리고 각 행의 선택.
작은 숫자
사진 두 장, 그래서 뷰 넷. 뷰 0의 뷰 1, 2, 3에 대한 유사도가 0.1, 0.9, 0.2라면(짝은 뷰 2), 0.2로 나누면 0.5, 4.5, 1.0이 돼요. Softmax는 짝에 0.954를 주고, 뷰 0의 손실은 -log 0.954 = 0.047이에요.
이 레슨의 단어와 기호
- 뷰
- 그림을 무작위로 바꾼 사본: 자르고, 뒤집고, 더 밝게, 덜 화려하게
- InfoNCE
- 배치가 스스로 정하는 질문에 대한 교차 엔트로피: 다른 어떤 뷰가 같은 그림에서 왔나?
- 온도
- softmax 전에 유사도를 나누는 값. 작을수록 선택이 날카로워요
- SimCLR
- 각 그림의 뷰 둘과 InfoNCE로 하는 자기 지도 훈련(Chen et al. 2020)
모양 (2n, d)인 z에 대해 2n개 행 전체에 걸친 평균 손실을 반환하는 info_nce(z, temperature)를 평범한 NumPy로 쓰세요. 그다음 example을 계산하세요: 시작 코드의 뷰 네 개짜리 배치에 대한 손실.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.