Conjunto de referencia + puntuadores
Publicaste un prompt nuevo y parece mejor. Quien dirige tu equipo hace la única pregunta que importa: ¿mejor en cuánto, y cómo lo sabes? Las "sensaciones" no sobreviven a una revisión de código. El trabajo es convertir una afirmación difusa en un número que puedas defender, y la base de todo banco de evaluación de prompts es un conjunto de referencia (una lista de entradas emparejadas con sus respuestas correctas conocidas) más un puntuador (una función que dice lo cerca que está la respuesta de un modelo de la respuesta de referencia).
Esta es la lección 1 de un proyecto en tres partes. Al final del módulo tendrás un verdadero banco de evaluación de prompts con una barrera de CI contra regresiones -> el tipo de cosa que quien contrata ve en un currículum como "construí un banco de evaluación de prompts + una barrera contra regresiones" y enseguida sabe que puedes publicar funciones con LLM de forma responsable. Hoy construyes la vara de medir: tres puntuadores y el ejecutor que aplica uno a todo un conjunto de referencia.
Una nota honesta sobre el alcance: la lógica del banco de evaluación y de la barrera contra regresiones que construyes aquí es real y transferible, pero el modelo juez está simulado y aquí la "exactitud" es una coincidencia exacta. En un proyecto real conectarías estas mismas piezas a un modelo juez en vivo y a puntuadores más ricos.
Tareas distintas necesitan puntuadores distintos, así que construyes tres:
score_exact(pred, gold)->1.0si la predicción es igual a la respuesta de referencia tras un.strip()en las dos, y si no0.0. Es lo adecuado para un clasificador ("positive" frente a "negative") donde solo cuenta una coincidencia exacta.score_contains(pred, gold)->1.0si la cadena de referencia aparece en cualquier parte de la predicción (sin distinguir mayúsculas, las dos sin espacios alrededor), y si no0.0. Va bien para comprobaciones de "¿mencionó la respuesta el dato clave?", donde las palabras de más no importan.token_f1(pred, gold)-> una puntuación con crédito parcial en[0.0, 1.0]basada en el solapamiento de palabras, el caballo de batalla para respuestas de texto libre en las que casi acertar debe valer más que fallar del todo.
Cómo funciona el F1 por tokens. Pasa las dos cadenas a minúsculas y divídelas en tokens de palabras. Cuenta cuántos tokens comparten, respetando los duplicados (trata las listas de tokens como multiconjuntos, así que collections.Counter y su intersección & son tus amigos). Luego:
overlap = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens) # of the words I said, how many were right?
recall = overlap / len(gold_tokens) # of the words I should have said, how many did I?
f1 = 2 * precision * recall / (precision + recall)Ejemplo resuelto: pred="the quick brown fox", gold="the lazy brown dog". Comparten the y brown -> solapamiento 2. La precisión es 2/4, la exhaustividad es 2/4, así que el F1 es 0.5. Atento a los bordes: si alguno de los dos lados no tiene tokens, o el solapamiento es cero, el F1 es 0.0 (nunca dividas por cero).
Por último, el ejecutor que convierte un puntuador en una evaluación:
run_suite(predictions, golds, scorer)-> puntúa cada par(pred, gold)con la funciónscorerdada y devuelve{"score": mean_score, "per_case": [list of each case's score]}. La media de una batería vacía es0.0.
Pasar el puntuador como argumento (en lugar de fijarlo en el código) es el diseño que permite que un solo banco evalúe tanto clasificadores de coincidencia exacta como respuestas de texto libre. Pulsa Ejecutar para puntuar un conjunto de referencia diminuto de tres formas distintas.
Construye el núcleo de puntuación de un banco de evaluación de prompts. Escribe score_exact(pred, gold) (1.0 con una coincidencia exacta tras quitar espacios, y si no 0.0), score_contains(pred, gold) (1.0 si la referencia, sin espacios alrededor y en minúsculas, es una subcadena de la predicción, y si no 0.0) y token_f1(pred, gold) (F1 de solapamiento de tokens sobre tokens de palabras en minúsculas, 0.0 cuando alguno de los dos lados está vacío o no hay solapamiento). Luego escribe run_suite(predictions, golds, scorer), que devuelva {"score": mean, "per_case": [scores]} (media 0.0 con una batería vacía).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.