LoRA, construido
Por qué importa Construirlo una vez deja claras tres cosas: por qué empieza siendo inofensivo, por qué sus gradientes son baratos, y por qué los pesos originales nunca cambian.
Una capa LoRA en el motor de la casa: hacia delante es x W + (alpha / r) x A B, con W congelada. El motor calcula por sí solo los gradientes de A y B (tu motor del Módulo 4 también lo haría); W simplemente no debe actualizarse, y eso es lo que compruebas.
Palabras y símbolos de esta lección
- LoRA
- adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
Escribe lora_forward(x, W, A, B, alpha) con operaciones del motor. Luego comprueba, con la capa pequeña del código inicial: la salida es igual a x W mientras B es cero; después de una pasada hacia atrás, W no tiene actualización pero A o B sí; y el gradiente de A coincide con los empujones. Pon en max_gap la mayor diferencia. El motor trabaja en float32, así que empuja con h = 1e-3 o más: con 1e-4 el cambio de la pérdida se pierde en el redondeo y un gradiente correcto parece equivocado.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.