Temario Lección 167 de 250 · Evaluaciones y pruebas de LLM
Evaluaciones y pruebas de LLM

F1 por tokens y solapamiento al estilo ROUGE

La coincidencia exacta es despiadada con cualquier cosa más larga que una etiqueta. Pregúntale a un modelo "Who painted the Mona Lisa and when?" y la referencia es "Leonardo da Vinci, around 1503". El modelo dice "It was painted by Leonardo da Vinci in roughly 1503.". La coincidencia exacta le pone un cero. Es obviamente una buena respuesta. Para respuestas de texto libre necesitas una puntuación con crédito parcial, y las dos herramientas estándar son el F1 por tokens y ROUGE.

El F1 por tokens trata cada respuesta como una bolsa de palabras y pregunta cuánto se solapan. Pasa a minúsculas, divide por los espacios y compara los dos conjuntos de tokens:

  • precisión = (tokens en ambas) / (tokens en la predicción) -> penaliza rellenar la respuesta con basura.
  • exhaustividad = (tokens en ambas) / (tokens en la referencia) -> penaliza dejarse palabras de la referencia.
  • F1 = la media armónica, 2 * P * R / (P + R) -> un solo número que castiga flojear por cualquiera de los dos lados.

Las cadenas idénticas puntúan 1.0; las respuestas que no comparten ninguna palabra puntúan 0.0. Haz uno a mano: predicción "the cat ran", referencia "the dog sat". El único token compartido es the, así que la precisión es 1/3, la exhaustividad es 1/3 y el F1 es 1/3.

ROUGE-N es la métrica con la que se evalúan los resúmenes. En lugar de palabras sueltas, cuenta los n-gramas que se solapan (secuencias contiguas de n tokens) e informa de la exhaustividad: de los n-gramas de la referencia, ¿cuántos aparecen en la predicción?

def ngrams(tokens, n):
    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]

Para la referencia "the cat sat on" y la predicción "the cat sat": los cuatro unigramas de la referencia son the, cat, sat, on; aparecen tres, así que ROUGE-1 es 3/4. Los tres bigramas de la referencia son (the,cat), (cat,sat), (sat,on); aparecen dos, así que ROUGE-2 es 2/3. ROUGE-2 suele ser menor que ROUGE-1 porque coincidir en el orden de las palabras es más difícil que coincidir en las palabras, y por eso precisamente se informa de ambos.

Qué construir.

  • token_f1(pred, gold) -> el F1 sobre conjuntos de tokens en minúsculas; devuelve 0.0 si cualquiera de los dos lados está vacío o no hay solapamiento (nunca dividas por cero).
  • rouge_n(pred, gold, n) -> la fracción de los n-gramas de la referencia que aparecen en la predicción; 0.0 cuando la referencia no tiene n-gramas.

En qué se diferencia de la biblioteca. Para enseñar, puntuamos sobre conjuntos de tokens, así que una palabra repetida cuenta una vez. El F1 por tokens de producción (al estilo SQuAD) usa recuentos de multiconjunto, así que los duplicados pesan, y el ROUGE real añade ROUGE-L, que puntúa la subsecuencia común más larga en lugar de n-gramas fijos. La idea es la misma; las versiones de producción solo cuentan con más cuidado los duplicados y el orden de las palabras.

Pulsa Ejecutar para puntuar una predicción frente a una referencia.

Tu turno

Escribe token_f1(pred, gold), que calcule el F1 de los dos conjuntos de tokens en minúsculas (precisión = solapamiento / tokens de la predicción, exhaustividad = solapamiento / tokens de la referencia, F1 = la media armónica), devolviendo 0.0 cuando cualquiera de los dos lados esté vacío o no haya solapamiento. Escribe rouge_n(pred, gold, n), que devuelva la fracción de los n-gramas de la referencia (tuplas de n tokens contiguos) que aparecen en la predicción, devolviendo 0.0 cuando la referencia no tenga n-gramas.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.