Temario Lección 216 de 246 · Módulo 20: Adaptar barato un modelo entrenado
Módulo 20: Adaptar barato un modelo entrenado

Elegir un método con un presupuesto

Por qué importa Cada método de este módulo es la respuesta correcta a una pregunta distinta. Elegir por moda tira el dinero; elegir a partir de mediciones es el trabajo.

Lo que mediste, en un solo sitio:

  • Ajuste fino completo (200 pasos): código 2.19, inglés 2.26. Entrena los 107,072 pesos; una copia nueva entera del modelo que guardar.
  • LoRA de rango 4: código 2.27, inglés 2.04. Entrena 8,192; guarda solo esos.
  • Destilación a un alumno de anchura 16 (3000 pasos): inglés 1.98 con más o menos 1/8 de los pesos, frente a 2.18 entrenado solo.
  • Cuantización: 8 bits, una cuarta parte del tamaño, sin cambio; 4 bits, una octava parte, +0.13.

Para cada situación, elige el método que respaldan las mediciones.

Palabras y símbolos de esta lección
ajuste fino
seguir entrenando un modelo ya entrenado con datos nuevos
LoRA
adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
rango (r)
lo finas que son las dos matrices de LoRA: (d_in + d_out) x r pesos entrenables por matriz
destilación
entrenar un alumno pequeño para que copie las probabilidades completas de un profesor grande
temperatura (destilación)
dividir las puntuaciones antes del softmax para que las segundas opciones cuenten más
cuantización
guardar los pesos con menos bits redondeándolos a unos pocos escalones
Tu turno

Rellena choice con uno de "full fine-tune" (ajuste fino completo), "LoRA", "distillation" (destilación) o "quantisation" (cuantización) para cada situación.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.