Examen de passage : trois entraînements cassés inédits (IA éteinte)
Pourquoi c'est important Diagnostiquer seul, avec un budget, c'est la compétence que ce cours construit depuis le module 8.
Tuteur IA éteint. Trois entraînements, chacun avec une panne venant des cas d'entraînement de ce module. Ce sont de nouveaux entraînements, pas les cas d'entraînement : une autre graine, et des pannes d'autres tailles, donc les nombres retenus ne correspondront pas. Ton budget est de 9 sondes au total (entraîner un cas scellé compte pour une), comptées sur toutes les exécutions depuis l'ouverture de la page (répéter une sonde sur le même cas est gratuit ; un mauvais diagnostic ou une correction qui ne marche pas coûte une sonde).
Chaque cas ci-dessous est un entraînement où une panne a été plantée. Pour chacun : dépense des sondes pour trouver la panne, puis écris une correction sous forme de changements de config qui ramènent l'entraînement à l'état sain. Les pannes de cette leçon : any training fault from this module (n'importe quelle panne d'entraînement de ce module). Un bon diagnosticien a rarement besoin de plus de deux sondes par cas.
| Sonde | Ce qu'elle te dit | Entraînement sain |
|---|---|---|
loss_curve(c) | La perte d'entraînement tous les 25 pas, et la perte sur du texte inconnu à la fin. Regarde toujours ça en premier. | de 4.55 jusqu'à environ 2.9 ; texte inconnu environ 3.0 |
loss_at_init(c) | La perte avant l'entraînement. Un modèle tout neuf qui devine uniformément sur 95 caractères donne ln(95). | 4.55 |
leak_check(c) | Un caractère ultérieur peut-il changer une prédiction antérieure ? | False |
show_batch(c) | Une entrée d'entraînement et sa cible, sous forme de texte. | cible = entrée décalée d'un caractère vers la gauche |
update_ratio(c) | Après le premier pas d'Adam, de combien les poids ont bougé par rapport à leur taille. Ce n'est pas la règle du module 8 : l'intervalle 0.001 à 0.1 vaut pour des pas de SGD simple. Le premier pas d'Adam déplace chaque poids d'environ le taux d'apprentissage quel que soit son gradient, et ces poids commencent près de 0.02, donc 0.01 / 0.02 donne environ 0.5. Compare un cas avec cet entraînement sain, pas avec l'intervalle du module 8. | environ 0.5 |
block_change(c) | De combien le premier bloc change chaque vecteur au départ. | environ 0.3 |
Mots et symboles de cette leçon
- ln(V)
- la perte de départ d'un modèle qui devine uniformément sur V symboles : 4.55 pour 95 caractères
- changement de bloc
- de combien un bloc change un vecteur au départ ; près de 1 veut dire qu'il l'a remplacé
Remplis diagnosis (du cas vers le nom de la panne) et fixes (du cas vers un dictionnaire de changements de config) pour les cas A, B et C. Après ta correction, chaque réglage doit correspondre à l'entraînement sain.
IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.