Etiketli Belgeler Üzerinde Toplu Değerlendirme
Tek bir belgeyi ayrıştırabilir, doğrulayabilir ve uzlaştırabilirsin. İşe alım yöneticisinin aslında sorduğu soru şudur: binlerce belge genelinde ne kadar iyi? Buna her ciddi ML ve veri ekibinin yaptığı gibi cevap verirsin -> bir eval ile. Elinle etiketlediğin bir belge grubunu (gold seti) alır, extractor'ını bunlar üzerinde çalıştırır ve her alanın ne sıklıkla doğru çıktığını ölçersin. Eval yoksa, güvenilirlik de yok.
evaluate(predictions, gold) yaz. Her ikisi de aynı uzunlukta, konumlarına göre hizalanmış sözlüklerden oluşan listelerdir -> predictions[i], gerçek cevabı gold[i] olan belge için senin çıkarıcının çıktısıdır. Onları alan bazında karşılaştır ve bir özet döndür:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}Kurallar:
- Puanlanacak alanlar kümesi, altın kayıtlarda görülen her anahtarın birleşimidir. (Bir tahminde eksik olan alan, o alan için yanlış sayılır.)
- A alanı, tahmin edilen değer altın değere eşit olduğunda correct olur. Eksik bir anahtarın çökme yerine
Noneolarak karşılaştırılması için tahmin üzerinde.get(field)kullan. accuracy, toplam doğru alanların toplam karşılaştırılan alanlara (dokümanlar çarpı alanlar) bölünmesi ve 4 basamağa yuvarlanmış halidir.- Boş küme güvenli: eğer
goldboşsa,{"accuracy": 0.0, "per_field": {}, "n": 0}döndür -> asla sıfıra bölme.
pandas eğer istersen kayıt tutmayı düzenli hale getirir -> alan başına vuruşlardan oluşan bir DataFrame oluştur ve sütunları topla -> ama birkaç düz dict döngüsü de aynı derecede iyi. Burada hiçbir şeyi tohumlama; grup sabit, bu yüzden doğruluğun denetleyicinin tam olarak kontrol edebileceği bir sayı.
Bu, Document Intelligence Service döngünü kapatıyor: extract -> repair -> validate -> reconcile -> measure. "Reconciliation ve alan düzeyinde bir eval harness içeren, schema-validated bir extraction pipeline kurdum" cümlesi seni ikinci mülakata taşır. Küçük etiketli bir batch puanlamak için Run tuşuna bas.
evaluate(predictions, gold) fonksiyonunu iki tane pozisyonla hizalanmış record dict listesi üzerinde yaz. Altın kayıtların anahtarlarının birleşimindeki her alanı puanla; bir alan prediction.get(field) == gold[field] olduğunda doğrudur (eksik bir anahtar None olarak karşılaştırılır). accuracy toplam doğru sayısını toplam karşılaştırılan alan sayısına böldüğünde (4 ondalık basamağa yuvarlanmış) {"accuracy", "per_field", "n"} değerini döndür, per_field[field] {"correct", "total"} değeridir ve n belge sayısıdır. Eğer gold boşsa {"accuracy": 0.0, "per_field": {}, "n": 0} döndür (sıfıra bölünme hatası olmasın).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.