Temario Lección 210 de 246 · Módulo 20: Adaptar barato un modelo entrenado
Módulo 20: Adaptar barato un modelo entrenado

LoRA, construido

Por qué importa Construirlo una vez deja claras tres cosas: por qué empieza siendo inofensivo, por qué sus gradientes son baratos, y por qué los pesos originales nunca cambian.

Una capa LoRA en el motor de la casa: hacia delante es x W + (alpha / r) x A B, con W congelada. El motor calcula por sí solo los gradientes de A y B (tu motor del Módulo 4 también lo haría); W simplemente no debe actualizarse, y eso es lo que compruebas.

Palabras y símbolos de esta lección
LoRA
adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
Tu turno

Escribe lora_forward(x, W, A, B, alpha) con operaciones del motor. Luego comprueba, con la capa pequeña del código inicial: la salida es igual a x W mientras B es cero; después de una pasada hacia atrás, W no tiene actualización pero A o B sí; y el gradiente de A coincide con los empujones. Pon en max_gap la mayor diferencia. El motor trabaja en float32, así que empuja con h = 1e-3 o más: con 1e-4 el cambio de la pérdida se pierde en el redondeo y un gradiente correcto parece equivocado.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.