강의 계획 레슨 246개 중 32번째 · 모듈 2: 수학과 확률, 필요한 만큼만
모듈 2: 수학과 확률, 필요한 만큼만

퍼짐이 어떻게 더해지는지, 그리고 행렬이 무엇을 늘이는지

왜 중요한가 깊은 신경망이 아예 훈련되는지는 두 사실이 정해요: 합의 퍼짐이 항의 수에 따라 어떻게 자라는지(모듈 6이 그걸로 시작 가중치를 정해요), 그리고 행렬이 적용될 때마다 벡터를 얼마나 늘이는지(모듈 11의 RNN은 하나를 거듭 적용해요).

합의 퍼짐

분산이 각각 v인 독립된 숫자 n개를 더해요. 분산은 더해져요: 합의 분산은 n v이니, 퍼짐(표준 편차)은 sqrt(n v)예요. 작은 숫자: 퍼짐이 각각 1인 입력 100개는 퍼짐 100도 1도 아닌 10인 합을 줘요. 뉴런은 입력 n개 곱하기 가중치를 더하니, 출력의 퍼짐을 1 근처로 유지하려면 각 가중치의 퍼짐이 약 1 / sqrt(n)이어야 해요. 그게 모듈 6의 시작 가중치 뒤의 생각이에요.

행렬이 늘이는 것

어떤 벡터는 행렬 A가 곱해질 때 길어지거나 짧아지기만 하고 방향은 그대로예요. 그런 벡터가 고유벡터이고 늘이는 배율이 그 고윳값이에요. 벡터에 A를 거듭 곱하면 (크기가) 가장 큰 고윳값의 방향이 이겨요: t단계 뒤에 길이는 그 고윳값의 t제곱처럼 자라거나 줄어요. 그래서 가장 큰 크기가 1보다 크면 폭발하고, 1보다 작으면 사라져요.

작은 숫자: A = [[0.5, 0], [0, 1.2]]. 고윳값은 0.5와 1.2예요. 10단계 뒤에 첫 방향은 0.510, 약 0.001로 줄었고, 두 번째는 1.210, 약 6.2로 자랐어요.

고윳값: 행렬이 특별한 방향 하나를 얼마나 늘이는지. 스펙트럼 반지름: 크기가 가장 큰 고윳값, 거듭된 곱셈이 자랄지 사라질지 정해요.

요약 분산은 더해지니, 퍼짐은 sqrt(n)처럼 자라요. 거듭된 곱셈은 가장 큰 고윳값의 t제곱처럼 자라요.

이 레슨의 단어와 기호
벡터
특성마다 하나씩인 숫자 리스트
내 차례

세 단계:

  1. sum_spread(n, sd, trials, seed)를 쓰세요: rng = np.random.default_rng(seed)로 퍼짐이 sd인 정규 숫자 n개의 합을 trials번 뽑고, 그 합들의 퍼짐(np.std)을 반환하세요.
  2. predicted를 n = 100, sd = 0.5에 대해 규칙이 주는 퍼짐(sqrt(n) × sd)으로 설정하세요.
  3. growth_rate(A, steps=200)을 쓰세요: 1로 된 벡터에서 시작해서, steps번 A를 곱하고 결과를 길이 1로 다시 맞추세요. 마지막으로 다시 맞추기 직전의 벡터 길이를 반환하세요. 풀이 예시: A = [[0.5, 0], [0, 1.2]]에 대해 답은 1.2예요.

3단계가 되는 이유: 거듭된 곱셈은 가장 큰 늘임이 이기게 하니, 마지막 한 단계 길이가 크기가 가장 큰 고윳값이고, 고윳값 함수 없이 찾은 거예요. (확인은 대칭 행렬을 쓰는데, 거기선 이게 언제나 성립해요. 다른 어떤 행렬에서는 가장 큰 둘이 복소수 쌍이라 길이가 단계마다 흔들려요. 그 경우는 필요 없을 거예요.)

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.