강의 계획 레슨 246개 중 28번째 · 모듈 2: 수학과 확률, 필요한 만큼만
모듈 2: 수학과 확률, 필요한 만큼만

왜 거꾸로 가는 게 싼가(역방향 모드)

왜 중요한가 신경망에는 가중치가 수백만 개 있어요. 기울기마다 자기 실행이 필요하다면 훈련은 불가능할 거예요. 거꾸로 가면 실행 한 번 더 하는 정도의 값으로 그 전부를 얻어요.

작은 숫자

x는 숫자 3개이고 L은 숫자 하나인 L = f3(f2(f1(x)))를 보세요. 살짝 밀기로 앞으로 가면, 입력 하나를 밀고, 세 단계 모두에 통과시키고, 기울기 하나를 배워요. 입력이 셋이면 전체 여행이 세 번이에요.

거꾸로 가면, 숫자 하나인 L에서 시작해서 "L이 이걸 얼마나 신경 쓰나?"를 f3, 그다음 f2, 그다음 f1을 거슬러 밀어요. 여행 한 번이 모든 입력의 기울기를 한꺼번에 줘요.

입력이 3개면 여행이 3번이 아니라 1번이에요. 가중치가 백만 개면 백만 번이 아니라 1번이에요. 하지만 거꾸로 가는 여행이 공짜는 아니에요: 각 단계가 자기 국소 기울기를 곱해야 해서, 앞으로 가는 실행 2~3번쯤의 비용이 들어요. 그래서 실제 작업에서 절약은 약 n / 3인데, 가중치 백만 개면 여전히 약 30만 배예요. 그래서 모든 딥러닝 라이브러리가 거꾸로 작동해요.

역방향 모드: 출력에서 입력 쪽으로 거슬러 훑어서 기울기를 계산하기. 그 구성 요소를 벡터-야코비안 곱이라고 부르고, 다음 레슨이 그걸 분해해요.

요약 출력 하나, 입력 여럿: 거꾸로 가세요.

이 레슨의 단어와 기호
벡터
특성마다 하나씩인 숫자 리스트
내 차례

가중치 n개와 손실 하나가 있는 신경망에 대한 연산 횟수를 채우세요. forward_trips(n): 입력마다 밀기 방법에 필요한 전체 실행 수(가중치마다 민 실행 하나. 함께 돌릴 밀지 않은 실행 하나는 빼세요). backward_trips(n): 역방향 모드에 필요한 거꾸로 훑기 수. 그다음 saving_for_a_million을 n = 1,000,000에 대한 여행 수의 비율(일의 비율이 아니라)로 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.