Temario Lección 222 de 250 · Proyecto: servicio de inteligencia documental
Proyecto: servicio de inteligencia documental

Evaluación por lotes sobre documentos etiquetados

Sabes analizar, validar y conciliar un solo documento. La pregunta que hace de verdad quien te contrata es: ¿qué tal funciona con miles? Se responde como lo hace todo equipo serio de ML y datos -> con una evaluación. Tomas un lote de documentos que has etiquetado a mano (el conjunto de referencia), pasas tu extractor por ellos y mides con qué frecuencia salió bien cada campo. Sin evaluación, no hay credibilidad.

Escribe evaluate(predictions, gold). Las dos son listas de dicts de la misma longitud, alineadas por posición -> predictions[i] es la salida de tu extractor para el documento cuya respuesta verdadera es gold[i]. Compáralas campo a campo y devuelve un resumen:

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

Las reglas:

  • El conjunto de campos que se puntúan es la unión de todas las claves vistas en los registros de referencia. (Un campo que falta en una predicción cuenta como error para ese campo.)
  • Un campo es correcto cuando el valor predicho es igual al de referencia. Usa .get(field) en la predicción para que una clave que falta se compare como None en lugar de fallar.
  • accuracy es el total de campos correctos dividido por el total de campos comparados (documentos por campos), redondeado a 4 decimales.
  • Seguro ante un conjunto vacío: si gold está vacío, devuelve {"accuracy": 0.0, "per_field": {}, "n": 0} -> nunca dividas por cero.

pandas deja ordenadas las cuentas si quieres -> construye un DataFrame de aciertos por campo y suma las columnas -> pero un par de bucles simples sobre dicts valen igual. Aquí no hay semilla; el lote es fijo, así que tu exactitud es un número que el evaluador puede comprobar con exactitud.

Esto cierra el ciclo de tu servicio de inteligencia documental: extraer -> reparar -> validar -> conciliar -> medir. "Construí una canalización de extracción validada por esquema, con conciliación y un banco de evaluación por campo" es una frase que te consigue una segunda entrevista. Pulsa Ejecutar para puntuar un pequeño lote etiquetado.

Tu turno

Escribe evaluate(predictions, gold) sobre dos listas de dicts de registro alineadas por posición. Puntúa cada campo de la unión de las claves de los registros de referencia; un campo es correcto cuando prediction.get(field) == gold[field] (una clave que falta se compara como None). Devuelve {"accuracy", "per_field", "n"}, donde accuracy es el total de correctos sobre el total de campos comparados (redondeado a 4 decimales), per_field[field] es {"correct", "total"}, y n es el número de documentos. Si gold está vacío, devuelve {"accuracy": 0.0, "per_field": {}, "n": 0} (sin dividir por cero).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.