강의 계획 레슨 246개 중 195번째 · 모듈 18: 레이블 없이 배우기
모듈 18: 레이블 없이 배우기

단순한 분류기로 특성 시험하기(선형 프로브)

왜 중요한가 최근접 이웃은 대략적인 답을 줬어요. 학습된 특성의 표준 시험은 선형 프로브예요: 특성을 얼리고, 레이블 몇 개로 그 위에 선형 분류기만 훈련하고, 새 사진에서 재세요. 직선이 물체들을 가를 수 있다면 특성이 어려운 일을 한 거예요.

프로브는 모듈 3의 softmax 회귀를 픽셀 대신 특성에 한 거예요:

  1. 각 특성을 훈련 세트의 평균과 퍼짐으로 표준화하세요(테스트 세트에도 같은 숫자를 쓰세요).
  2. 모든 훈련 행에 한꺼번에 교차 엔트로피에 대한 경사 하강법: 1000걸음, 걸음 크기 0.5, 가중치 감쇠 0.001.
  3. 테스트 사진에서의 정확도.

일부러 약하게 했어요: 레이블 400개로 하는 선형 모델. 그게 요점이에요. 좋은 특성을 지어낼 수 없고, 특성이 이미 말하는 걸 읽을 수만 있어요.

이 레슨의 단어와 기호
선형 프로브
얼린 특성 위에서 훈련한 선형 분류기: 특성이 이미 말하는 것에 대한 시험
SimCLR
각 그림의 뷰 둘과 InfoNCE로 하는 자기 지도 훈련(Chen et al. 2020)
내 차례

설명대로 my_probe(F_train, y_train, F_test, y_test)를 쓰세요(가중치와 편향은 0에서 시작). 그다음 자기 프로브로 무작위 인코더(ssl.Encoder(32, seed=0))와 기록된 SimCLR 인코더에 대한 accuracy를 채우세요. 날 픽셀 기준선(사진당 숫자 768개)은 같은 산술을 빠른 행렬 곱셈 위에서 float32로 하는 강좌의 프로브로 계산해 뒀어요: 자기 float64 버전은 브라우저에서 입력 768개에 30초가 걸릴 거예요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.