¿Cómo de fino basta? (rango)
Por qué importa El rango es el único ajuste de verdad de LoRA. Demasiado fino y no puede aprender la tarea nueva; pasado cierto punto, más rango no compra casi nada. Vale la pena predecir dónde está ese punto antes de pagarlo.
El curso entrenó LoRA con código con rangos de 1 a 64, y el ajuste fino completo, 3 semillas cada uno, 200 pasos (adapt.recorded()). Cada fila tiene el rango, los pesos entrenables, la pérdida en código (lo nuevo) y la pérdida en inglés (lo viejo).
Predice la curva
Antes de leerlas, adivina la pérdida en código con los rangos 1, 4, 16 y 64. Referencias: antes de entrenar 3.25; ajuste fino completo unos 2.19.
Palabras y símbolos de esta lección
- ajuste fino
- seguir entrenando un modelo ya entrenado con datos nuevos
- LoRA
- adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
- rango (r)
- lo finas que son las dos matrices de LoRA: (d_in + d_out) x r pesos entrenables por matriz
Rellena my_guess (cuatro pérdidas en código), y luego by_rank: para los rangos 1, 4, 16, 64 y "full", la pérdida media en código y la pérdida media en inglés sobre las 3 semillas. Pon diminishing a True si pasar del rango 16 al 64 gana menos de una cuarta parte de lo que gana pasar de 1 a 4.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.