강의 계획 레슨 246개 중 175번째 · 모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)
모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)

관문: 숫자 하나만 그리는 VAE(AI 끄기)

왜 중요한가 이 실패에는 사후 붕괴라는 이름이 있고, 나중에 만들 모든 생성 모델이 그 어떤 버전에 부딪힐 수 있을 만큼 흔해요. 여기서 혼자 진단하고 고쳐요.

관문 규칙: AI 튜터는 꺼져 있어요. 시작 코드를 실행하고 망가진 VAE가 무엇을 만드는지 보세요. gen.train_vae(...)로 원하는 만큼 변형을 훈련하고 gen.judge, active_units(), 재구성 오차로 판단할 수 있어요.

설정이 셋 있고, 각각 시도할 이유가 있어요:

  • weight: 당김 2(KL)의 세기, 기본값 1.
  • warmup_steps: weight 0으로 시작해서 이만큼의 걸음에 걸쳐 weight까지 고르게 올려요(훈련은 600걸음).
  • free_bits: 코드 숫자마다의 바닥. KL이 바닥 아래인 숫자는 바닥만큼 값을 치르고 중심 쪽으로 밀리지 않아서, 모델이 그걸 쓸 여유가 생겨요.

온라인에서 weight를 워밍업하는 게 표준 해결책이라고 읽게 될 거예요. 여기서도 그런지 알아내세요.

확인은 새 시드로 수정을 다시 훈련하고, 넷이 모두 성립할 때만 통과시켜요: 테스트 재구성 오차 0.035 아래, 활성 코드 숫자 적어도 3개, 가까움 많아야 1.33이고 다양성 적어도 3.0인 새 숫자.

이 레슨의 단어와 기호
코드(잠재)
인코더가 그림 하나로 만드는 숫자 몇 개
VAE
변분 오토인코더: 코드가 N(0, 1)을 채우도록 당겨져서, 무작위 코드가 새 그림으로 디코딩되는 오토인코더
mu, logvar
VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
가까움, 다양성
강좌의 심판: 가장 가까운 진짜 숫자까지의 거리, 그리고 열 숫자에 걸친 퍼짐의 비트
사후 붕괴
코드가 모두 N(0, 1)이 되어 아무것도 담지 않는 VAE. 평균 그림 하나를 그려요
내 차례

diagnosis를 글자 하나로, fix를 붕괴를 고치는 gen.train_vae 설정의 dict로 설정하세요.

AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.