Preparar un conjunto de datos de ajuste por instrucciones
Seamos honestos sobre lo que este módulo puede y no puede hacer. Hacer ajuste fino de un modelo es un trabajo de GPU. Tomas un modelo base, le enseñas miles de pares de ejemplo y ejecutas descenso de gradiente para mover sus pesos. Eso necesita un bucle de entrenamiento, una GPU y horas de cómputo. Nada de eso funciona en este entorno del navegador (no hay torch, ni GPU, ni red). Así que no vamos a fingir lo contrario.
Lo que SÍ enseñaremos es la parte en la que un ingeniero de IA pasa de verdad la mayor parte de su tiempo, y la que decide si la cara ejecución en GPU produce algo bueno: el conjunto de datos. Un resultado famoso en el campo (LIMA, "Less Is More for Alignment") mostró que unos 1.000 ejemplos cuidadosamente seleccionados superan a un montón mucho mayor de ejemplos ruidosos. "Si entra basura, sale basura" no es un eslogan aquí, es todo el juego. Tú construyes el conjunto de datos que alimenta la GPU.
Un registro de ajuste por instrucciones no es más que un pequeño dict. La forma habitual es una instruction (lo que pide el usuario), un input opcional (contexto adicional) y el output de referencia (lo que debería responder un buen modelo):
{"instruction": "Summarize this review in one sentence.",
"input": "The battery lasts forever but the screen is dim.",
"output": "Great battery life, but the screen is too dim."}Antes de que nada de esto llegue a un entrenador tienes que limpiarlo. Las exportaciones reales están llenas de filas sin output, de una instruction en blanco que solo tiene espacios, de un tipo erróneo donde se esperaba una cadena, y de duplicados exactos que gastan cómputo y sesgan el modelo hacia los ejemplos repetidos. Tu trabajo es un filtro determinista.
Construye dos funciones.
validate_pair(example)->Truesolo cuandoexamplees un dict cuyosinstructionYoutputson ambos cadenas no vacías tras.strip(). Cualquier otra cosa (clave que falta, no es una cadena, en blanco o solo espacios) devuelveFalse. Que falteinputestá bien: es opcional.clean_dataset(rows)-> descarta todos los pares no válidos y luego los duplicados exactos (mismoinstruction, mismoinput, mismooutputtras quitar espacios), conservando la PRIMERA aparición. Devuelve{"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
Una fila no válida cuenta como dropped_invalid; una fila válida pero repetida cuenta como dropped_duplicate. Las cuentas deben cuadrar: input == kept + dropped_invalid + dropped_duplicate.
En una canalización real, las filas limpias se tokenizarían después y se enviarían a un entrenador. Ese paso aquí es solo conceptual, pero conviene conocer el panorama al que alimenta tu conjunto de datos. El ajuste fino completo actualiza todos los pesos del modelo: el más exacto, el más caro, y produce una copia nueva entera del modelo. LoRA / PEFT (ajuste fino eficiente en parámetros) congela el modelo base y entrena solo pequeños adaptadores de rango bajo que van encima, así que la ejecución cabe en una GPU y puedes intercambiar adaptadores sobre una misma base compartida. Y más allá del ajuste fino supervisado simple está el ajuste por preferencias, que alinea el tono y la seguridad a partir de preferencias humanas en lugar de respuestas de referencia: DPO (Direct Preference Optimization) entrena directamente con pares de respuesta elegida frente a rechazada y es una alternativa más sencilla y estable al antiguo bucle RLHF/PPO con modelo de recompensa. Pulsa Ejecutar para limpiar un pequeño conjunto de datos desordenado e imprimir las estadísticas.
Escribe validate_pair(example), que devuelva True solo cuando example sea un dict cuyos instruction y output sean ambos cadenas no vacías (tras .strip()); todo lo demás devuelve False (se permite que falte input). Luego escribe clean_dataset(rows), que descarte los pares no válidos y los duplicados exactos (misma instrucción/entrada/salida tras quitar espacios, conservando el primero), y devuelva {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.