Temario Lección 201 de 250 · El ajuste fino, en concepto
El ajuste fino, en concepto

Preparar un conjunto de datos de ajuste por instrucciones

Seamos honestos sobre lo que este módulo puede y no puede hacer. Hacer ajuste fino de un modelo es un trabajo de GPU. Tomas un modelo base, le enseñas miles de pares de ejemplo y ejecutas descenso de gradiente para mover sus pesos. Eso necesita un bucle de entrenamiento, una GPU y horas de cómputo. Nada de eso funciona en este entorno del navegador (no hay torch, ni GPU, ni red). Así que no vamos a fingir lo contrario.

Lo que SÍ enseñaremos es la parte en la que un ingeniero de IA pasa de verdad la mayor parte de su tiempo, y la que decide si la cara ejecución en GPU produce algo bueno: el conjunto de datos. Un resultado famoso en el campo (LIMA, "Less Is More for Alignment") mostró que unos 1.000 ejemplos cuidadosamente seleccionados superan a un montón mucho mayor de ejemplos ruidosos. "Si entra basura, sale basura" no es un eslogan aquí, es todo el juego. Tú construyes el conjunto de datos que alimenta la GPU.

Un registro de ajuste por instrucciones no es más que un pequeño dict. La forma habitual es una instruction (lo que pide el usuario), un input opcional (contexto adicional) y el output de referencia (lo que debería responder un buen modelo):

{"instruction": "Summarize this review in one sentence.",
 "input": "The battery lasts forever but the screen is dim.",
 "output": "Great battery life, but the screen is too dim."}

Antes de que nada de esto llegue a un entrenador tienes que limpiarlo. Las exportaciones reales están llenas de filas sin output, de una instruction en blanco que solo tiene espacios, de un tipo erróneo donde se esperaba una cadena, y de duplicados exactos que gastan cómputo y sesgan el modelo hacia los ejemplos repetidos. Tu trabajo es un filtro determinista.

Construye dos funciones.

  • validate_pair(example) -> True solo cuando example es un dict cuyos instruction Y output son ambos cadenas no vacías tras .strip(). Cualquier otra cosa (clave que falta, no es una cadena, en blanco o solo espacios) devuelve False. Que falte input está bien: es opcional.
  • clean_dataset(rows) -> descarta todos los pares no válidos y luego los duplicados exactos (mismo instruction, mismo input, mismo output tras quitar espacios), conservando la PRIMERA aparición. Devuelve {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.

Una fila no válida cuenta como dropped_invalid; una fila válida pero repetida cuenta como dropped_duplicate. Las cuentas deben cuadrar: input == kept + dropped_invalid + dropped_duplicate.

En una canalización real, las filas limpias se tokenizarían después y se enviarían a un entrenador. Ese paso aquí es solo conceptual, pero conviene conocer el panorama al que alimenta tu conjunto de datos. El ajuste fino completo actualiza todos los pesos del modelo: el más exacto, el más caro, y produce una copia nueva entera del modelo. LoRA / PEFT (ajuste fino eficiente en parámetros) congela el modelo base y entrena solo pequeños adaptadores de rango bajo que van encima, así que la ejecución cabe en una GPU y puedes intercambiar adaptadores sobre una misma base compartida. Y más allá del ajuste fino supervisado simple está el ajuste por preferencias, que alinea el tono y la seguridad a partir de preferencias humanas en lugar de respuestas de referencia: DPO (Direct Preference Optimization) entrena directamente con pares de respuesta elegida frente a rechazada y es una alternativa más sencilla y estable al antiguo bucle RLHF/PPO con modelo de recompensa. Pulsa Ejecutar para limpiar un pequeño conjunto de datos desordenado e imprimir las estadísticas.

Tu turno

Escribe validate_pair(example), que devuelva True solo cuando example sea un dict cuyos instruction y output sean ambos cadenas no vacías (tras .strip()); todo lo demás devuelve False (se permite que falte input). Luego escribe clean_dataset(rows), que descarte los pares no válidos y los duplicados exactos (misma instrucción/entrada/salida tras quitar espacios, conservando el primero), y devuelva {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.