Examen de passage : planifier un entraînement (IA éteinte)
Pourquoi c'est important C'est la décision pour laquelle les lois d'échelle existent : tu as un budget et un seul essai. Planifie-le à partir de preuves.
Règles de l'examen : tuteur IA éteint. Tu as 3 × 10^10 FLOP pour un seul entraînement du modèle de caractères du cours, sur le même texte que la grille. Choisis une largeur (une puissance de 2) et le nombre de tokens que le budget permet alors. Utilise la grille enregistrée comme tu veux : ajustements, tableaux, les deux.
La vérification prédit la perte de ton choix et du meilleur choix possible avec l'ajustement à deux variables du cours, et te fait réussir quand le tien est à moins de 0.02 du meilleur et que tu as dépensé le budget (à 1 % près).
Mots et symboles de cette leçon
- loi d'échelle
- comment la perte baisse quand les poids, les données ou le calcul grandissent, en général une loi de puissance vers un plancher
- token
- ici, une prédiction : un caractère
- FLOP (6 N D)
- le coût d'entraînement : environ 6 opérations par poids par token
Affecte width et tokens.
IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.