Como o spread se soma e o que uma matriz estica
Por que isso importa Dois fatos decidem se uma rede profunda treina ou não: como a dispersão de uma soma cresce com o número de termos (o Módulo 6 define pesos iniciais com isso), e o quanto uma matriz estica um vetor cada vez que é aplicada (as RNNs do Módulo 11 aplicam uma repetidamente).
Dispersão de uma soma
Some n números independentes, cada um com variância v. As variâncias se somam: a soma tem variância n v, então seu desvio (desvio padrão) é sqrt(n v). Números pequenos: 100 entradas cada com desvio 1 dão uma soma com desvio 10, não 100 e não 1. Um neurônio soma n entradas vezes pesos, então para manter o desvio de sua saída perto de 1, cada peso precisa de um desvio de cerca de 1 / sqrt(n). Essa é a ideia por trás dos pesos iniciais do Módulo 6.
O quanto uma matriz estica
Alguns vetores só ficam maiores ou menores quando uma matriz A os multiplica; a direção deles permanece. Tal vetor é um eigenvector e o fator de estiramento é seu eigenvalue. Multiplique um vetor por A repetidamente e a direção com o maior eigenvalue (em tamanho) vence: após t steps o comprimento cresce ou diminui como aquele eigenvalue elevado à potência t. Assim, um tamanho máximo acima de 1 explode, e abaixo de 1 desaparece.
Tiny numbers: A = [[0.5, 0], [0, 1.2]]. Seus eigenvalues são 0.5 e 1.2. Após 10 steps a primeira direção encolheu para 0.510, cerca de 0.001, e a segunda cresceu para 1.210, cerca de 6.2.
Eigenvalue: o quanto uma matriz estica em uma direção especial. Spectral radius: o maior eigenvalue em tamanho, que decide se a multiplicação repetida cresce ou diminui.
Resumo Variâncias somam, então spreads crescem como sqrt(n). Multiplicação repetida cresce como o maior eigenvalue elevado a t.
Palavras e símbolos nesta lição
- vector
- uma lista de números, um por característica
Três passos:
- Escreva
sum_spread(n, sd, trials, seed): comrng = np.random.default_rng(seed), desenhetrialssomas de n números normais com dispersão sd, e retorne a dispersão (np.std) dessas somas. - Defina
predictedpara o spread que a regra dá para n = 100, sd = 0.5 (sqrt(n) x sd). - Escreva
growth_rate(A, steps=200): comece com um vetor de uns;stepsvezes, multiplique por A e redimensione o resultado para comprimento 1; retorne o comprimento que o vetor tinha logo antes do último redimensionamento. Exemplo funcional: para A = [[0.5, 0], [0, 1.2]] a resposta é 1.2.
Por que o passo 3 funciona: a multiplicação repetida deixa o maior estiramento vencer, então o comprimento de um passo final é o maior eigenvalue em tamanho, encontrado sem nenhuma função de eigenvalue. (A verificação usa matrizes simétricas, onde isso sempre se mantém. Para algumas outras matrizes os dois maiores são um par complexo e o comprimento oscila de passo em passo; você não precisará desse caso.)
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.