Программа курса Урок 32 из 246 · Модуль 2: Математика и вероятность, только по необходимости
Модуль 2: Математика и вероятность, только по необходимости

Как складывается разброс и что растягивает матрица

Почему это важно Два факта решают, обучится ли глубокая сеть вообще: как разброс суммы растёт с числом слагаемых (модуль 6 задаёт по нему начальные веса) и насколько матрица растягивает вектор при каждом применении (RNN из модуля 11 применяют одну снова и снова).

Разброс суммы

Сложите n независимых чисел, у каждого дисперсия v. Дисперсии складываются: у суммы дисперсия n v, поэтому её разброс (стандартное отклонение) - sqrt(n v). Маленькие числа: 100 входов, у каждого разброс 1, дают сумму с разбросом 10, а не 100 и не 1. Нейрон складывает n входов, умноженных на веса, поэтому, чтобы разброс его выхода оставался около 1, каждому весу нужен разброс около 1 / sqrt(n). Это идея, стоящая за начальными весами модуля 6.

Что растягивает матрица

Некоторые векторы, когда их умножает матрица A, только удлиняются или укорачиваются; их направление остаётся. Такой вектор - собственный вектор, а коэффициент растяжения - его собственное значение. Умножайте вектор на A снова и снова, и выигрывает направление с наибольшим (по величине) собственным значением: после t шагов длина растёт или сжимается как это собственное значение в степени t. Поэтому наибольшая величина больше 1 взрывается, а меньше 1 - угасает.

Маленькие числа: A = [[0.5, 0], [0, 1.2]]. Её собственные значения - 0,5 и 1,2. После 10 шагов первое направление сжалось до 0,510, около 0,001, а второе выросло до 1,210, около 6,2.

Собственное значение: насколько матрица растягивает одно особое направление. Спектральный радиус: наибольшее по величине собственное значение, которое решает, растёт или угасает повторное умножение.

Итоги Дисперсии складываются, поэтому разбросы растут как sqrt(n). Повторное умножение растёт как наибольшее собственное значение в степени t.

Слова и символы этого урока
вектор
список чисел, по одному на признак
Твоя очередь

Три шага:

  1. Напишите sum_spread(n, sd, trials, seed): с rng = np.random.default_rng(seed) вытяните trials сумм из n нормальных чисел с разбросом sd и верните разброс (np.std) этих сумм.
  2. Присвойте predicted разброс, который правило даёт для n = 100, sd = 0.5 (sqrt(n) × sd).
  3. Напишите growth_rate(A, steps=200): начните с вектора из единиц; steps раз умножьте на A и масштабируйте результат до длины 1; верните длину, которую вектор имел прямо перед последним масштабированием. Разобранный пример: для A = [[0.5, 0], [0, 1.2]] ответ 1.2.

Почему шаг 3 работает: повторное умножение даёт выиграть наибольшему растяжению, поэтому последняя длина за один шаг - наибольшее по величине собственное значение, найденное без всякой функции собственных значений. (Проверка использует симметричные матрицы, где это всегда выполняется. Для некоторых других матриц два наибольших - комплексная пара, и длина колеблется от шага к шагу; этот случай вам не понадобится.)

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.