강의 계획 레슨 246개 중 179번째 · 모듈 16: 게임 속의 두 신경망(GAN, 선택)
모듈 16: 게임 속의 두 신경망(GAN, 선택)

가끔 도움이 되는 요령

왜 중요한가 GAN 논문과 블로그 글은 요령 수십 개를 나열해요. 대부분은 설정 하나에서, 흔히 시드 하나로 보여 줬어요. 여기서는 그중 넷을 같은 붕괴에서 기록된 시드 8개에 걸쳐 시험하고, 읽은 게 아니라 잰 걸 보고해요.

요령 넷, 각각 잡음 숫자 8개로 붕괴하는 GAN에 적용해요:

  • 레이블 스무딩: D에게 진짜 샘플이 1이 아니라 0.8만큼 진짜라고 알려서, 결코 너무 확신하지 않게 해요.
  • 인스턴스 잡음: D가 보는 모든 점에 조금씩 잡음을 더하고 훈련에 걸쳐 0으로 줄여서, 초기에 진짜와 가짜가 겹치게 해요.
  • 스펙트럼 정규화: D의 모든 가중치 행렬을 그 가장 큰 늘임으로 나눠서, D가 작은 변화에 너무 날카롭게 반응하지 못하게 해요.
  • 학습률 균형: G를 D보다 느리게(g_lr 2.5e-4) 또는 빠르게(g_lr 3e-3).

모듈 9의 정신을 쓰세요: 차이는 시드 사이의 잡음보다 분명히 클 때만 쳐요. 각 요령을 평범한 실행과 시드별로 비교하세요(같은 시드, 짝지어서):

  • helped: 평균 덩어리가 적어도 1 많고 그리고 시드 8개 중 적어도 6개에서 덩어리가 더 많음,
  • hurt: 평균 덩어리가 적어도 1 적고 적어도 6개 시드에서 더 적음, 또는 평균 품질이 적어도 0.25 낮고 적어도 6개 시드에서 더 낮음(덩어리는 지키지만 점을 흩뿌리는 생성기는 도움을 받은 게 아니에요),
  • 그 밖엔 no clear change.
이 레슨의 단어와 기호
GAN
생성적 적대 신경망: 서로 맞서 훈련하는 생성기와 판별기
생성기 (G)
잡음을 샘플로 바꾸는 신경망
덮은 덩어리, 품질
고리 심판: 점의 2%보다 많이 받은 덩어리, 그리고 덩어리 위에 떨어진 점의 비율
레이블 스무딩
1 대신 0.8인 진짜 레이블로 D를 훈련하기
인스턴스 잡음
D가 보는 모든 것에 더하고 훈련에 걸쳐 0으로 줄이는 잡음
스펙트럼 정규화
D의 각 가중치 행렬을 그 가장 큰 늘임으로 나누기
내 차례

기록된 실행으로 "helped", "hurt", "no clear change" 중 하나를 반환하는 verdict(trick)을 쓰세요. 그다음 요령 실행 다섯 각각에 대한 자기 판정으로 report를 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.