Elegir un método con un presupuesto
Por qué importa Cada método de este módulo es la respuesta correcta a una pregunta distinta. Elegir por moda tira el dinero; elegir a partir de mediciones es el trabajo.
Lo que mediste, en un solo sitio:
- Ajuste fino completo (200 pasos): código 2.19, inglés 2.26. Entrena los 107,072 pesos; una copia nueva entera del modelo que guardar.
- LoRA de rango 4: código 2.27, inglés 2.04. Entrena 8,192; guarda solo esos.
- Destilación a un alumno de anchura 16 (3000 pasos): inglés 1.98 con más o menos 1/8 de los pesos, frente a 2.18 entrenado solo.
- Cuantización: 8 bits, una cuarta parte del tamaño, sin cambio; 4 bits, una octava parte, +0.13.
Para cada situación, elige el método que respaldan las mediciones.
Palabras y símbolos de esta lección
- ajuste fino
- seguir entrenando un modelo ya entrenado con datos nuevos
- LoRA
- adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
- rango (r)
- lo finas que son las dos matrices de LoRA: (d_in + d_out) x r pesos entrenables por matriz
- destilación
- entrenar un alumno pequeño para que copie las probabilidades completas de un profesor grande
- temperatura (destilación)
- dividir las puntuaciones antes del softmax para que las segundas opciones cuenten más
- cuantización
- guardar los pesos con menos bits redondeándolos a unos pocos escalones
Rellena choice con uno de "full fine-tune" (ajuste fino completo), "LoRA", "distillation" (destilación) o "quantisation" (cuantización) para cada situación.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.