Temario Lección 217 de 246 · Módulo 20: Adaptar barato un modelo entrenado
Módulo 20: Adaptar barato un modelo entrenado

Prueba de paso: una tarea nueva con un presupuesto (IA apagada)

Por qué importa El trabajo real de adaptación tiene un objetivo, un presupuesto y algo que no debes romper. Las tres cosas, a la vez, tú solo.

Reglas de la prueba de paso: tutor de IA apagado. Adapta el GPT grabado a código Python con como mucho 60 pasos de entrenamiento de 8 ventanas cada uno. Objetivos en una ejecución nueva (semilla nueva):

  • pérdida con código reservado de como mucho 2.43 (el base puntúa 3.25);
  • pérdida con inglés reservado de como mucho 2.00 (el base puntúa 1.70);

Pon plan: el método "full" o "lora", el rango (para LoRA, de 1 a 64), los pasos y la tasa de aprendizaje. La comprobación entrena tu plan una vez con una semilla nueva.

Palabras y símbolos de esta lección
LoRA
adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
rango (r)
lo finas que son las dos matrices de LoRA: (d_in + d_out) x r pesos entrenables por matriz
Tu turno

Rellena plan.

IA desactivada: en este no hay tutor, pistas ni solución. Solo tu propio razonamiento.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.