관문: 숫자 하나만 그리는 VAE(AI 끄기)
왜 중요한가 이 실패에는 사후 붕괴라는 이름이 있고, 나중에 만들 모든 생성 모델이 그 어떤 버전에 부딪힐 수 있을 만큼 흔해요. 여기서 혼자 진단하고 고쳐요.
관문 규칙: AI 튜터는 꺼져 있어요. 시작 코드를 실행하고 망가진 VAE가 무엇을 만드는지 보세요. gen.train_vae(...)로 원하는 만큼 변형을 훈련하고 gen.judge, active_units(), 재구성 오차로 판단할 수 있어요.
설정이 셋 있고, 각각 시도할 이유가 있어요:
weight: 당김 2(KL)의 세기, 기본값 1.warmup_steps: weight 0으로 시작해서 이만큼의 걸음에 걸쳐weight까지 고르게 올려요(훈련은 600걸음).free_bits: 코드 숫자마다의 바닥. KL이 바닥 아래인 숫자는 바닥만큼 값을 치르고 중심 쪽으로 밀리지 않아서, 모델이 그걸 쓸 여유가 생겨요.
온라인에서 weight를 워밍업하는 게 표준 해결책이라고 읽게 될 거예요. 여기서도 그런지 알아내세요.
확인은 새 시드로 수정을 다시 훈련하고, 넷이 모두 성립할 때만 통과시켜요: 테스트 재구성 오차 0.035 아래, 활성 코드 숫자 적어도 3개, 가까움 많아야 1.33이고 다양성 적어도 3.0인 새 숫자.
이 레슨의 단어와 기호
- 코드(잠재)
- 인코더가 그림 하나로 만드는 숫자 몇 개
- VAE
- 변분 오토인코더: 코드가 N(0, 1)을 채우도록 당겨져서, 무작위 코드가 새 그림으로 디코딩되는 오토인코더
- mu, logvar
- VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
- 가까움, 다양성
- 강좌의 심판: 가장 가까운 진짜 숫자까지의 거리, 그리고 열 숫자에 걸친 퍼짐의 비트
- 사후 붕괴
- 코드가 모두 N(0, 1)이 되어 아무것도 담지 않는 VAE. 평균 그림 하나를 그려요
diagnosis를 글자 하나로, fix를 붕괴를 고치는 gen.train_vae 설정의 dict로 설정하세요.
AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.