Ajusta el GPT con tu propio texto
Por qué importa Este es el uso de todos los días: un modelo general, tu texto, un adaptador barato. La prueba es si aprendió tu texto y conservó lo demás.
Pon tu propio texto en my_text: apuntes, un ensayo, código que escribiste, al menos 5,000 caracteres (por defecto es un trozo de las soluciones de Python para que la lección funcione tal cual). Los caracteres que el modelo nunca ha visto se quitan. El último 20% se aparta para probar.
Entrena LoRA, rango 8, durante 60 pasos de 8 ventanas. Apruebas cuando la parte reservada de tu texto puntúa al menos 0.3 mejor que con el modelo base, y la pérdida en inglés subió menos de 0.5. Como referencia, con el texto por defecto: LoRA sube el inglés unos 0.29, el ajuste fino completo unos 0.69, y los dos aprenden el texto más o menos igual de bien.
Palabras y símbolos de esta lección
- ajuste fino
- seguir entrenando un modelo ya entrenado con datos nuevos
- LoRA
- adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
- rango (r)
- lo finas que son las dos matrices de LoRA: (d_in + d_out) x r pesos entrenables por matriz
Rellena base_scores y tuned_scores: (pérdida en inglés, pérdida con el 20% reservado de tu texto) antes y después de entrenar el modelo LoRA.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.