Conteúdo do curso Lição 32 de 246 · Módulo 2: Matemática e probabilidade, apenas conforme necessário
Módulo 2: Matemática e probabilidade, apenas conforme necessário

Como o spread se soma e o que uma matriz estica

Por que isso importa Dois fatos decidem se uma rede profunda treina ou não: como a dispersão de uma soma cresce com o número de termos (o Módulo 6 define pesos iniciais com isso), e o quanto uma matriz estica um vetor cada vez que é aplicada (as RNNs do Módulo 11 aplicam uma repetidamente).

Dispersão de uma soma

Some n números independentes, cada um com variância v. As variâncias se somam: a soma tem variância n v, então seu desvio (desvio padrão) é sqrt(n v). Números pequenos: 100 entradas cada com desvio 1 dão uma soma com desvio 10, não 100 e não 1. Um neurônio soma n entradas vezes pesos, então para manter o desvio de sua saída perto de 1, cada peso precisa de um desvio de cerca de 1 / sqrt(n). Essa é a ideia por trás dos pesos iniciais do Módulo 6.

O quanto uma matriz estica

Alguns vetores só ficam maiores ou menores quando uma matriz A os multiplica; a direção deles permanece. Tal vetor é um eigenvector e o fator de estiramento é seu eigenvalue. Multiplique um vetor por A repetidamente e a direção com o maior eigenvalue (em tamanho) vence: após t steps o comprimento cresce ou diminui como aquele eigenvalue elevado à potência t. Assim, um tamanho máximo acima de 1 explode, e abaixo de 1 desaparece.

Tiny numbers: A = [[0.5, 0], [0, 1.2]]. Seus eigenvalues são 0.5 e 1.2. Após 10 steps a primeira direção encolheu para 0.510, cerca de 0.001, e a segunda cresceu para 1.210, cerca de 6.2.

Eigenvalue: o quanto uma matriz estica em uma direção especial. Spectral radius: o maior eigenvalue em tamanho, que decide se a multiplicação repetida cresce ou diminui.

Resumo Variâncias somam, então spreads crescem como sqrt(n). Multiplicação repetida cresce como o maior eigenvalue elevado a t.

Palavras e símbolos nesta lição
vector
uma lista de números, um por característica
Sua vez

Três passos:

  1. Escreva sum_spread(n, sd, trials, seed): com rng = np.random.default_rng(seed), desenhe trials somas de n números normais com dispersão sd, e retorne a dispersão (np.std) dessas somas.
  2. Defina predicted para o spread que a regra dá para n = 100, sd = 0.5 (sqrt(n) x sd).
  3. Escreva growth_rate(A, steps=200): comece com um vetor de uns; steps vezes, multiplique por A e redimensione o resultado para comprimento 1; retorne o comprimento que o vetor tinha logo antes do último redimensionamento. Exemplo funcional: para A = [[0.5, 0], [0, 1.2]] a resposta é 1.2.

Por que o passo 3 funciona: a multiplicação repetida deixa o maior estiramento vencer, então o comprimento de um passo final é o maior eigenvalue em tamanho, encontrado sem nenhuma função de eigenvalue. (A verificação usa matrizes simétricas, onde isso sempre se mantém. Para algumas outras matrizes os dois maiores são um par complexo e o comprimento oscila de passo em passo; você não precisará desse caso.)

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.