강의 계획 레슨 246개 중 198번째 · 모듈 18: 레이블 없이 배우기
모듈 18: 레이블 없이 배우기

캡션을 그림에 맞추기(CLIP의 생각)(선택)

왜 중요한가 텍스트로 이미지 찾기, 그리고 이미지 생성기의 "이해" 부분은 요령 하나에서 시작해요: 그림과 그 캡션이 가까이 떨어지도록 그림 인코더와 텍스트 인코더를 훈련하기. 두 종류의 데이터에 걸친 또 하나의 InfoNCE예요. 이 레슨은 선택이에요: 수료증에 필요하지 않아요.

여기 모든 사진에는 생성된 방식으로 쓴 진짜 캡션이 딸려 와요: "a green ring on the left". 그림 쪽은 얼린 SimCLR 인코더 더하기 숫자 16개로 가는 훈련 가능한 층 하나예요. 텍스트 쪽은 단어 주머니(단어마다 숫자 하나: 캡션에 있나?) 곱하기 숫자 16개로 가는 훈련 가능한 층 하나예요.

손실은 대칭이에요: 쌍 n개의 배치에서 각 그림은 캡션 n개 중에서 자기 캡션을, 각 캡션은 그림 n개 중에서 자기 그림을 골라야 해요. 같은 n × n 유사도 격자에 대한 교차 엔트로피 둘, 하나는 행을 따라, 하나는 열을 따라.

시험은 "맞는 그림이 첫째"보다 더 많이 물어요: 가장 잘 맞는 그림이 적어도 캡션의 색을 가졌나? 그 물체를? 그 쪽을?

이 레슨의 단어와 기호
InfoNCE
배치가 스스로 정하는 질문에 대한 교차 엔트로피: 다른 어떤 뷰가 같은 그림에서 왔나?
온도
softmax 전에 유사도를 나누는 값. 작을수록 선택이 날카로워요
SimCLR
각 그림의 뷰 둘과 InfoNCE로 하는 자기 지도 훈련(Chen et al. 2020)
내 차례

pair_loss(a, b, temperature)를 쓰세요(모양 (n, 16)인 엔진 텐서: 둘 다 ssl.normalize로 정규화하고(InfoNCE 레슨처럼 각 행을 길이 1로), 유사도를 온도로 나누고, 행을 따른 교차 엔트로피 더하기 열을 따른 교차 엔트로피) 온도 0.1에서 쌍 128개씩 600걸음 훈련하세요. 테스트 캡션의 적어도 5%에서 맞는 그림이 첫째로 통과하세요(우연은 0.5%).

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.