캡션을 그림에 맞추기(CLIP의 생각)(선택)
왜 중요한가 텍스트로 이미지 찾기, 그리고 이미지 생성기의 "이해" 부분은 요령 하나에서 시작해요: 그림과 그 캡션이 가까이 떨어지도록 그림 인코더와 텍스트 인코더를 훈련하기. 두 종류의 데이터에 걸친 또 하나의 InfoNCE예요. 이 레슨은 선택이에요: 수료증에 필요하지 않아요.
여기 모든 사진에는 생성된 방식으로 쓴 진짜 캡션이 딸려 와요: "a green ring on the left". 그림 쪽은 얼린 SimCLR 인코더 더하기 숫자 16개로 가는 훈련 가능한 층 하나예요. 텍스트 쪽은 단어 주머니(단어마다 숫자 하나: 캡션에 있나?) 곱하기 숫자 16개로 가는 훈련 가능한 층 하나예요.
손실은 대칭이에요: 쌍 n개의 배치에서 각 그림은 캡션 n개 중에서 자기 캡션을, 각 캡션은 그림 n개 중에서 자기 그림을 골라야 해요. 같은 n × n 유사도 격자에 대한 교차 엔트로피 둘, 하나는 행을 따라, 하나는 열을 따라.
시험은 "맞는 그림이 첫째"보다 더 많이 물어요: 가장 잘 맞는 그림이 적어도 캡션의 색을 가졌나? 그 물체를? 그 쪽을?
이 레슨의 단어와 기호
- InfoNCE
- 배치가 스스로 정하는 질문에 대한 교차 엔트로피: 다른 어떤 뷰가 같은 그림에서 왔나?
- 온도
- softmax 전에 유사도를 나누는 값. 작을수록 선택이 날카로워요
- SimCLR
- 각 그림의 뷰 둘과 InfoNCE로 하는 자기 지도 훈련(Chen et al. 2020)
pair_loss(a, b, temperature)를 쓰세요(모양 (n, 16)인 엔진 텐서: 둘 다 ssl.normalize로 정규화하고(InfoNCE 레슨처럼 각 행을 길이 1로), 유사도를 온도로 나누고, 행을 따른 교차 엔트로피 더하기 열을 따른 교차 엔트로피) 온도 0.1에서 쌍 128개씩 600걸음 훈련하세요. 테스트 캡션의 적어도 5%에서 맞는 그림이 첫째로 통과하세요(우연은 0.5%).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.