Qualquer curva a partir de bumps (aproximação universal)
Por que isso importa Dizem que uma rede com uma camada oculta pode ajustar qualquer curva. Aqui você vê o porquê, construindo ela você mesmo a partir de saliências.
Veja isso
Uma sigmoide muito íngreme é um degrau: 0 à esquerda, 1 à direita. Dois degraus, um para cima em left e um para baixo em right, fazem um calombo: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Isso são dois neurônios ocultos e um peso de saída. Coloque calombos lado a lado, cada um tão alto quanto a curva em seu lugar, e você traça qualquer curva, como um gráfico de barras. Mais neurônios, barras mais finas, ajuste mais próximo.
Aproximação universal: uma camada oculta com neurônios suficientes pode chegar tão perto quanto você quiser de qualquer curva razoável. Isso não diz nada sobre o quão fácil é encontrar esses pesos através do treinamento.
Resumo Dois neurônios fazem uma protuberância; protuberâncias suficientes fazem qualquer coisa.
Palavras e símbolos nesta lição
- neuron
- w . x + b, depois uma ativação
- pesos (w, W), viés (b)
- os números que um neurônio aprende; o bias desloca sua saída
- sigmoid
- 1 / (1 + exp(-z)): esmaga qualquer número para 0 a 1
- camada oculta
- a camada entre a entrada e a saída que constrói novas características
Escreva bump(x, left, right, height, s=60), depois approx(x, f, n_bumps) que divide 0 a pi em n_bumps partes iguais e adiciona um bump por parte, cada um com a altura de f no meio de sua parte. Com 10 bumps (20 neurônios), o mean squared error contra sin em 0 a pi deve estar abaixo de 0.01.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.