Prueba de paso: una tarea nueva con un presupuesto (IA apagada)
Por qué importa El trabajo real de adaptación tiene un objetivo, un presupuesto y algo que no debes romper. Las tres cosas, a la vez, tú solo.
Reglas de la prueba de paso: tutor de IA apagado. Adapta el GPT grabado a código Python con como mucho 60 pasos de entrenamiento de 8 ventanas cada uno. Objetivos en una ejecución nueva (semilla nueva):
- pérdida con código reservado de como mucho 2.43 (el base puntúa 3.25);
- pérdida con inglés reservado de como mucho 2.00 (el base puntúa 1.70);
Pon plan: el método "full" o "lora", el rango (para LoRA, de 1 a 64), los pasos y la tasa de aprendizaje. La comprobación entrena tu plan una vez con una semilla nueva.
Palabras y símbolos de esta lección
- LoRA
- adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
- rango (r)
- lo finas que son las dos matrices de LoRA: (d_in + d_out) x r pesos entrenables por matriz
Rellena plan.
IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.