모듈 16: 게임 속의 두 신경망(GAN, 선택)
가끔 도움이 되는 요령
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 GAN 논문과 블로그 글은 요령 수십 개를 나열해요. 대부분은 설정 하나에서, 흔히 시드 하나로 보여 줬어요. 여기서는 그중 넷을 같은 붕괴에서 기록된 시드 8개에 걸쳐 시험하고, 읽은 게 아니라 잰 걸 보고해요.
요령 넷, 각각 잡음 숫자 8개로 붕괴하는 GAN에 적용해요:
- 레이블 스무딩: D에게 진짜 샘플이 1이 아니라 0.8만큼 진짜라고 알려서, 결코 너무 확신하지 않게 해요.
- 인스턴스 잡음: D가 보는 모든 점에 조금씩 잡음을 더하고 훈련에 걸쳐 0으로 줄여서, 초기에 진짜와 가짜가 겹치게 해요.
- 스펙트럼 정규화: D의 모든 가중치 행렬을 그 가장 큰 늘임으로 나눠서, D가 작은 변화에 너무 날카롭게 반응하지 못하게 해요.
- 학습률 균형: G를 D보다 느리게(g_lr 2.5e-4) 또는 빠르게(g_lr 3e-3).
모듈 9의 정신을 쓰세요: 차이는 시드 사이의 잡음보다 분명히 클 때만 쳐요. 각 요령을 평범한 실행과 시드별로 비교하세요(같은 시드, 짝지어서):
- helped: 평균 덩어리가 적어도 1 많고 그리고 시드 8개 중 적어도 6개에서 덩어리가 더 많음,
- hurt: 평균 덩어리가 적어도 1 적고 적어도 6개 시드에서 더 적음, 또는 평균 품질이 적어도 0.25 낮고 적어도 6개 시드에서 더 낮음(덩어리는 지키지만 점을 흩뿌리는 생성기는 도움을 받은 게 아니에요),
- 그 밖엔 no clear change.
이 레슨의 단어와 기호
- GAN
- 생성적 적대 신경망: 서로 맞서 훈련하는 생성기와 판별기
- 생성기 (G)
- 잡음을 샘플로 바꾸는 신경망
- 덮은 덩어리, 품질
- 고리 심판: 점의 2%보다 많이 받은 덩어리, 그리고 덩어리 위에 떨어진 점의 비율
- 레이블 스무딩
- 1 대신 0.8인 진짜 레이블로 D를 훈련하기
- 인스턴스 잡음
- D가 보는 모든 것에 더하고 훈련에 걸쳐 0으로 줄이는 잡음
- 스펙트럼 정규화
- D의 각 가중치 행렬을 그 가장 큰 늘임으로 나누기
내 차례
기록된 실행으로 "helped", "hurt", "no clear change" 중 하나를 반환하는 verdict(trick)을 쓰세요. 그다음 요령 실행 다섯 각각에 대한 자기 판정으로 report를 채우세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.