Programme Leçon 45 sur 246 · Module 3 : Du neurone au MLP
Module 3 : Du neurone au MLP

N'importe quelle courbe à partir de bosses (approximation universelle)

Pourquoi c'est important On dit qu'un réseau avec une seule couche cachée peut ajuster n'importe quelle courbe. Ici, tu vois pourquoi, en le construisant toi-même à partir de bosses.

Vois-le

Une sigmoïde très raide est une marche : 0 à gauche, 1 à droite. Deux marches, une qui monte en left et une qui descend en right, font une bosse : height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Ce sont deux neurones cachés et un poids de sortie. Mets des bosses côte à côte, chacune aussi haute que la courbe à son endroit, et tu traces n'importe quelle courbe, comme un diagramme en barres. Plus de neurones, des barres plus fines, un ajustement plus proche.

Approximation universelle : une seule couche cachée avec assez de neurones peut s'approcher autant que tu veux de n'importe quelle courbe raisonnable. Ça ne dit rien de la facilité à trouver ces poids par l'entraînement.

Récap Deux neurones font une bosse ; assez de bosses font n'importe quoi.

Mots et symboles de cette leçon
neurone
w . x + b, puis une activation
poids (w, W), biais (b)
les nombres qu'un neurone apprend ; le biais décale sa sortie
sigmoïde
1 / (1 + exp(-z)) : écrase n'importe quel nombre entre 0 et 1
couche cachée
une couche entre l'entrée et la sortie qui construit de nouvelles caractéristiques
À ton tour

Écris bump(x, left, right, height, s=60), puis approx(x, f, n_bumps) qui découpe l'intervalle de 0 à pi en n_bumps morceaux égaux et ajoute une bosse par morceau, chacune de la hauteur de f au milieu de son morceau. Avec 10 bosses (20 neurones), l'erreur quadratique moyenne par rapport à sin sur 0 à pi doit être inférieure à 0.01.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.