División determinista en entrenamiento y validación
Una vez limpio el conjunto de datos, tienes que dividirlo: la mayoría de las filas van a entrenamiento (de lo que aprende el modelo) y una parte reservada va a validación (con lo que lo puntúas). El conjunto reservado es sagrado. Si un ejemplo se cuela en las dos mitades, tu número de validación miente, porque el modelo se probó con algo con lo que entrenó. Así que la división debe ser una partición limpia: sin solapamiento y sin perder nada.
También debe ser reproducible. "Puntuó 0.81" no significa nada si volver a ejecutar el script baraja en otra división y da 0.79. La solución es la misma que usas siempre que aparece la aleatoriedad en ML: dar una semilla al generador. La misma semilla siempre produce la misma división, así que tu experimento es repetible y un compañero puede reproducir tus números exactos.
Fíjate en que barajamos índices, no las propias filas, y pasamos una semilla explícita a un generador privado en lugar de tocar el global:
import random
def split_dataset(rows, val_frac, seed):
indices = list(range(len(rows)))
rng = random.Random(seed) # a private RNG, does not disturb global state
rng.shuffle(indices)
n_val = int(round(len(rows) * val_frac))
...Usa random.Random(seed) (un generador nuevo y aislado), no random.seed(...) sobre el módulo global, para que llamar a tu función no cambie en silencio la aleatoriedad en otras partes de un programa.
Construye split_dataset(rows, val_frac, seed), que devuelva {"train": [...], "val": [...]}, donde:
- el tamaño de validación es
int(round(len(rows) * val_frac)), y entrenamiento es el resto; - train y val son disjuntos y juntos contienen cada fila original exactamente una vez;
- la MISMA semilla siempre da la MISMA división, y una semilla distinta en general da otra distinta.
Esta preparación determinista es todo aquello de lo que depende la ejecución en GPU. El entrenamiento real (adaptadores LoRA, un optimizador, una curva de pérdida) ocurre en hardware que este entorno no tiene. Pulsa Ejecutar para dividir una lista y confirmar que las dos mitades reconstruyen el total.
Escribe split_dataset(rows, val_frac, seed), que devuelva {"train": [...], "val": [...]}. Baraja una lista de índices con random.Random(seed) (no con el generador global), toma los primeros int(round(len(rows) * val_frac)) como validación y el resto como entrenamiento. Las dos mitades deben ser disjuntas, deben contener juntas cada fila original exactamente una vez y deben ser reproducibles para una semilla dada.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.