Programme Leçon 164 sur 246 · Module 14 : Clinique des entraînements II
Module 14 : Clinique des entraînements II

Faire confiance à l'assistant ? Édition séquences

Pourquoi c'est important La même compétence qu'au module 8, avec des pannes plus difficiles : plusieurs d'entre elles se ressemblent sur la seule courbe de perte, donc un assistant qui ne lit que les courbes se trompe avec un aplomb total.

Un assistant IA a nommé une panne pour chacun de huit entraînements cassés. Certaines affirmations sont fausses. Méfie-toi des paires qui partagent un symptôme : deux pannes peuvent toutes deux rendre la perte d'entraînement étrangement basse, et deux peuvent toutes deux la faire caler.

SondeCe qu'elle te ditEntraînement sain
loss_curve(c)La perte d'entraînement tous les 25 pas, et la perte sur du texte inconnu à la fin. Regarde toujours ça en premier.de 4.55 jusqu'à environ 2.9 ; texte inconnu environ 3.0
loss_at_init(c)La perte avant l'entraînement. Un modèle tout neuf qui devine uniformément sur 95 caractères donne ln(95).4.55
leak_check(c)Un caractère ultérieur peut-il changer une prédiction antérieure ?False
show_batch(c)Une entrée d'entraînement et sa cible, sous forme de texte.cible = entrée décalée d'un caractère vers la gauche
update_ratio(c)Après le premier pas d'Adam, de combien les poids ont bougé par rapport à leur taille. Ce n'est pas la règle du module 8 : l'intervalle 0.001 à 0.1 vaut pour des pas de SGD simple. Le premier pas d'Adam déplace chaque poids d'environ le taux d'apprentissage quel que soit son gradient, et ces poids commencent près de 0.02, donc 0.01 / 0.02 donne environ 0.5. Compare un cas avec cet entraînement sain, pas avec l'intervalle du module 8.environ 0.5
block_change(c)De combien le premier bloc change chaque vecteur au départ.environ 0.3
Mots et symboles de cette leçon
ln(V)
la perte de départ d'un modèle qui devine uniformément sur V symboles : 4.55 pour 95 caractères
changement de bloc
de combien un bloc change un vecteur au départ ; près de 1 veut dire qu'il l'a remplacé
À ton tour

Pour chaque cas de A à H, affecte à verdicts[case] True (l'assistant a raison) ou False. Il te faut au moins 7 sur 8 justes.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.