Faire confiance à l'assistant ? Édition séquences
Pourquoi c'est important La même compétence qu'au module 8, avec des pannes plus difficiles : plusieurs d'entre elles se ressemblent sur la seule courbe de perte, donc un assistant qui ne lit que les courbes se trompe avec un aplomb total.
Un assistant IA a nommé une panne pour chacun de huit entraînements cassés. Certaines affirmations sont fausses. Méfie-toi des paires qui partagent un symptôme : deux pannes peuvent toutes deux rendre la perte d'entraînement étrangement basse, et deux peuvent toutes deux la faire caler.
| Sonde | Ce qu'elle te dit | Entraînement sain |
|---|---|---|
loss_curve(c) | La perte d'entraînement tous les 25 pas, et la perte sur du texte inconnu à la fin. Regarde toujours ça en premier. | de 4.55 jusqu'à environ 2.9 ; texte inconnu environ 3.0 |
loss_at_init(c) | La perte avant l'entraînement. Un modèle tout neuf qui devine uniformément sur 95 caractères donne ln(95). | 4.55 |
leak_check(c) | Un caractère ultérieur peut-il changer une prédiction antérieure ? | False |
show_batch(c) | Une entrée d'entraînement et sa cible, sous forme de texte. | cible = entrée décalée d'un caractère vers la gauche |
update_ratio(c) | Après le premier pas d'Adam, de combien les poids ont bougé par rapport à leur taille. Ce n'est pas la règle du module 8 : l'intervalle 0.001 à 0.1 vaut pour des pas de SGD simple. Le premier pas d'Adam déplace chaque poids d'environ le taux d'apprentissage quel que soit son gradient, et ces poids commencent près de 0.02, donc 0.01 / 0.02 donne environ 0.5. Compare un cas avec cet entraînement sain, pas avec l'intervalle du module 8. | environ 0.5 |
block_change(c) | De combien le premier bloc change chaque vecteur au départ. | environ 0.3 |
Mots et symboles de cette leçon
- ln(V)
- la perte de départ d'un modèle qui devine uniformément sur V symboles : 4.55 pour 95 caractères
- changement de bloc
- de combien un bloc change un vecteur au départ ; près de 1 veut dire qu'il l'a remplacé
Pour chaque cas de A à H, affecte à verdicts[case] True (l'assistant a raison) ou False. Il te faut au moins 7 sur 8 justes.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.