Evaluasi Batch di Atas Dokumen Berlabel
Kamu bisa mem-parsing, memvalidasi, dan merekonsiliasi satu dokumen. Pertanyaan yang benar-benar diajukan perekrut adalah: seberapa bagus ia pada ribuan dokumen? Kamu menjawabnya seperti setiap tim ML dan data yang serius -> dengan sebuah eval. Kamu mengambil batch dokumen yang sudah kamu beri label dengan tangan (set emas), menjalankan ekstraktormu pada semuanya, dan mengukur seberapa sering setiap field keluar dengan benar. Tanpa eval, tanpa kredibilitas.
Tulis evaluate(predictions, gold). Keduanya adalah daftar dict dengan panjang yang sama, disejajarkan menurut posisi -> predictions[i] adalah keluaran ekstraktormu untuk dokumen yang jawaban sebenarnya gold[i]. Bandingkan field demi field dan kembalikan ringkasan:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}Aturannya:
- Himpunan field yang dinilai adalah gabungan semua kunci yang muncul di rekaman emas. (Field yang hilang dari prediksi dihitung salah untuk field itu.)
- Sebuah field benar kalau nilai prediksinya sama dengan nilai emasnya. Pakai
.get(field)pada prediksi supaya kunci yang hilang dibandingkan sebagaiNonealih-alih crash. accuracyadalah total field yang benar dibagi total field yang dibandingkan (dokumen dikali field), dibulatkan ke 4 desimal.- Aman untuk set kosong: kalau
goldkosong, kembalikan{"accuracy": 0.0, "per_field": {}, "n": 0}-> jangan pernah membagi dengan nol.
pandas membuat pembukuannya rapi kalau kamu mau -> buat DataFrame berisi ketepatan per field lalu jumlahkan kolomnya -> tetapi beberapa loop dict biasa sama bagusnya. Tidak ada yang perlu diberi seed di sini; batch-nya tetap, jadi akurasimu adalah angka yang bisa diperiksa penilai dengan persis.
Ini menutup siklus Layanan Kecerdasan Dokumenmu: ekstrak -> perbaiki -> validasi -> rekonsiliasi -> ukur. "Saya membangun pipeline ekstraksi tervalidasi skema dengan rekonsiliasi dan eval harness tingkat field" adalah kalimat yang membawamu ke wawancara kedua. Tekan Run untuk menilai batch kecil berlabel.
Tulis evaluate(predictions, gold) di atas dua list dict record yang sejajar posisinya. Skor setiap field di dalam union kunci dari gold records; sebuah field benar jika prediction.get(field) == gold[field] (kunci yang hilang dibandingkan sebagai None). Kembalikan {"accuracy", "per_field", "n"} di mana accuracy adalah total benar dibagi total field yang dibandingkan (dibulatkan ke 4 desimal), per_field[field] adalah {"correct", "total"}, dan n adalah jumlah dokumen. Jika gold kosong, kembalikan {"accuracy": 0.0, "per_field": {}, "n": 0} (tidak ada pembagian dengan nol).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.