Evaluar prompts (exactitud con un conjunto de referencia)
"El prompt nuevo parece mejor" no es una respuesta. Para saberlo, tienes un conjunto de referencia (gold set): entradas emparejadas con las salidas correctas en las que confías. Ejecutas el prompt sobre las entradas, comparas cada predicción con su respuesta de referencia y das un número. Ese número es cómo comparas el prompt v1 con el v2 sin engañarte.
Vas a construir el puntuador. score_prediction(pred, gold) devuelve 1.0 si coinciden y 0.0 si no, comparando sin distinguir mayúsculas y sin tener en cuenta los espacios de alrededor, porque "Yes", "yes" y " yes " son la misma respuesta en la práctica.
evaluate(predictions, golds) recorre las dos listas a la vez, puntúa cada par y devuelve un resumen:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}Redondea accuracy a 4 decimales. Haz que el conjunto vacío sea seguro: cero referencias devuelve {"accuracy": 0.0, "correct": 0, "total": 0} en lugar de dividir entre cero, porque los conjuntos de evaluación se van filtrando y no quieres que el sistema de pruebas se caiga con un trozo vacío.
Una de las pruebas ocultas ejecuta tu evaluate sobre 50 conjuntos de predicciones y referencias generados al azar y lo compara con una referencia calculada en la prueba. Una tabla con los casos visibles no sobrevivirá a eso, y esa es la idea: estás construyendo un puntuador de verdad, no memorizando respuestas. Pulsa Ejecutar para corregir.
Escribe score_prediction(pred, gold), que devuelve 1.0 si los dos coinciden sin distinguir mayúsculas ni tener en cuenta los espacios de alrededor, y si no 0.0. Escribe evaluate(predictions, golds), que devuelve {"accuracy", "correct", "total"} sobre las listas emparejadas, con la exactitud redondeada a 4 decimales y un conjunto vacío que devuelve todo a cero (sin fallar).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.