SimCLR: 사진 하나의 뷰 둘
왜 중요한가 이제 방법 전체예요: 무작위 뷰 더하기 InfoNCE, 되풀이. 어느 시점에도 레이블은 없어요. 무엇을 배우는지는 거의 전적으로 한 가지 선택에 달려 있어요: 두 뷰 사이의 어떤 차이를 무시하라고 알려 주는지.
각 걸음: 사진 배치를 가져오고, ssl.augment로 각각의 무작위 뷰 둘을 만들고, 둘 다 인코딩하고, 작은 헤드로 투영하고, InfoNCE를 최소화하세요. 증강이 과제를 정해요: 사진 하나의 두 뷰 사이에 다른 것(자른 위치, 거울상, 밝기, 채도)은 무엇이든 신경망이 무시하는 걸 배우는 거예요. 같게 남는 것(물체)은 지키는 걸 배우는 거예요.
진짜 SimCLR 실행은 수천 걸음과 큰 배치를 써요. 여기서는 짧은 것을 실시간으로 돌려서(폭 8, 배치 32, 80걸음) 손실이 떨어지는 걸 보고, 그다음 강좌의 기록된 긴 실행(폭 32, 128개씩 2500걸음)을 읽어요.
기록된 실행에는 같은 조리법의 변형 둘이 있어요: 뷰에 무작위 색상 회전을 더하기(SimCLR 논문은 자기 사진에서 강한 색 변화가 필수라는 걸 발견했어요), 그리고 더 높은 온도(0.5).
이 분야의 지금 SimCLR은 네거티브(배치 안의 다른 사진)가 많이 필요해서, 아주 큰 배치에서 가장 잘 훈련돼요(논문은 4,096을 썼어요). 나중 방법들은 네거티브를 버려요: BYOL(2020)과 DINO(2021)는 신경망이 천천히 업데이트되는 자기 사본과 맞도록 훈련하고, MAE(2021)는 이미지 조각의 4분의 3을 숨기고 다시 만들어요, 이 모듈의 빈칸 채우기의 그림 버전이에요. 텍스트에도 같은 갈래가 있어요: 마스크 예측(BERT)과 다음 토큰 예측(GPT).
이 레슨의 단어와 기호
- 마스크 예측
- 입력의 일부를 숨기고 신경망이 그걸 채우도록 훈련하기
- 뷰
- 그림을 무작위로 바꾼 사본: 자르고, 뒤집고, 더 밝게, 덜 화려하게
- 증강
- 뷰를 만드는 무작위 변화. 신경망이 무엇을 무시하는 걸 배울지 정해요
- InfoNCE
- 배치가 스스로 정하는 질문에 대한 교차 엔트로피: 다른 어떤 뷰가 같은 그림에서 왔나?
- 온도
- softmax 전에 유사도를 나누는 값. 작을수록 선택이 날카로워요
- SimCLR
- 각 그림의 뷰 둘과 InfoNCE로 하는 자기 지도 훈련(Chen et al. 2020)
실시간 사전 훈련을 실행하고 처음 10걸음과 마지막 10걸음에 걸친 평균 손실로 live를 채우세요. 그다음 기록된 실행으로 report를 채우세요: 날 픽셀, 무작위 인코더, SimCLR, 색상 회전이 있는 SimCLR, 지도 학습의 프로브 정확도(원래 물체), 더하기 gap, SimCLR이 지도 학습보다 얼마나 뒤처지는지 비율로(0.05는 5점을 뜻해요). 마지막으로 hue_helped를 True나 False로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.