Conteúdo do curso Lição 45 de 246 · Módulo 3: Neurônio para MLP
Módulo 3: Neurônio para MLP

Qualquer curva a partir de bumps (aproximação universal)

Por que isso importa Dizem que uma rede com uma camada oculta pode ajustar qualquer curva. Aqui você vê o porquê, construindo ela você mesmo a partir de saliências.

Veja isso

Uma sigmoide muito íngreme é um degrau: 0 à esquerda, 1 à direita. Dois degraus, um para cima em left e um para baixo em right, fazem um calombo: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Isso são dois neurônios ocultos e um peso de saída. Coloque calombos lado a lado, cada um tão alto quanto a curva em seu lugar, e você traça qualquer curva, como um gráfico de barras. Mais neurônios, barras mais finas, ajuste mais próximo.

Aproximação universal: uma camada oculta com neurônios suficientes pode chegar tão perto quanto você quiser de qualquer curva razoável. Isso não diz nada sobre o quão fácil é encontrar esses pesos através do treinamento.

Resumo Dois neurônios fazem uma protuberância; protuberâncias suficientes fazem qualquer coisa.

Palavras e símbolos nesta lição
neuron
w . x + b, depois uma ativação
pesos (w, W), viés (b)
os números que um neurônio aprende; o bias desloca sua saída
sigmoid
1 / (1 + exp(-z)): esmaga qualquer número para 0 a 1
camada oculta
a camada entre a entrada e a saída que constrói novas características
Sua vez

Escreva bump(x, left, right, height, s=60), depois approx(x, f, n_bumps) que divide 0 a pi em n_bumps partes iguais e adiciona um bump por parte, cada um com a altura de f no meio de sua parte. Com 10 bumps (20 neurônios), o mean squared error contra sin em 0 a pi deve estar abaixo de 0.01.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.