Müfredat 250 dersinden 219. · Proje: Document Intelligence Service
Proje: Document Intelligence Service

Karmaşık Metinden Alanları Çıkar

Amiral gemisi portföy projenize hoş geldiniz. Dört ders boyunca bir Document Intelligence Service inşa edeceksiniz: bir fintech veya operasyon ekibinin karmaşık fatura yığınlarını veritabanında temiz, doğrulanmış ve uzlaştırılmış satırlara dönüştürmek için çalıştırdığı türden bir boru hattı. Sonunda bir işe alım yöneticisine "uzlaştırma ve değerlendirmeler içeren şema doğrulamalı bir çıkarma boru hattı inşa ettim" diyebileceksiniz ve bunu gerçekten kastedeceksiniz.

Birinci adım kimsenin sevmediği ama herkesin ihtiyaç duyduğu kirli kısım: unstructured metninden yapılandırılmış alanları çekip çıkarmak. Bir tedarikçi faturayı bir metin bloğu olarak e-posta ile gönderir. Senin görevin parse_invoice(text) -> vendor, date, total (bir float) ve line_items ({"desc", "amount"} sözlüklerinden oluşan bir liste) içeren bir dict oluşturmak.

Püf noktası ve bunun gerçek bir iş olmasının nedeni şu: belgeler tek tip değil. Biri Total: diyor, diğeri Amount Due diyor, üçüncüsü her şeyi ekstra boşluklarla dolduruyor. Etiketler değişiyor, büyük küçük harf değişiyor, boşluklar değişiyor. Sadece tek bir kesin düzeni işleyen bir parser gerçek maillerde işe yaramaz.

Vendor: Acme Corp
Date: 2026-01-15
Line: Widgets x10    120.00
Line: Shipping        8.50
Total: 128.50

Parser'ının uyması gereken kurallar:

  • vendor ifadesi vendor (büyük/küçük harf duyarsız) etiketli bir satırdan gelir. İki noktadan sonrasını al ve temizle.
  • date date etiketli bir satırdan gelir. Ham stringi koru (ileriki bir ders bunu doğrular).
  • total etiketi total veya amount due olan bir satırdan gelir (her ikisi de yaygın olarak görülür). Sayıyı bir float olarak ayrıştır, baştaki $ ve 1,250.00 gibi binlik virgüllerine tolerans göster.
  • Her satır öğesi line veya item etiketli bir satırda bulunur: sondaki sayıdan önceki metin desc (temizlenmiş), sondaki sayı ise amount (bir float) değeridir.

temiz bir giriş yolu: yeni satırlara göre ayır ve her satırı ilk : üzerinde bir kez ayırarak label, rest elde et. Etiketi küçük harfe çevir, temizle ve dallan. Bir satır öğesindeki sondaki para için re.search(r"(-?[\d,]+\.?\d*)\s*$", rest) gibi küçük bir regex son sayıyı yakalar. Eksik alanlar mantıklı şekilde varsayılan değer alır: satıcı satırı yoksa -> "", toplam yoksa -> 0.0, öğe yoksa -> [].

Üretim ekipleri bu adımda giderek daha fazla bir LLM kullanıyor, ancak LLM'in çıktısı hala tam olarak bu yapıda olmalı yoksa boru hattının geri kalanı bozulur -> bu yüzden önce deterministik parser'ı oluşturursun ve ona güvenirsin. Örnek bir faturayı ayrıştırmak ve yapılandırılmış dict'in çıktığını görmek için Run tuşuna bas.

Senin sıran

Karmaşık bir fatura metnini vendor (str), date (raw str), total (float) ve line_items ({"desc", "amount"} sözlüklerinden oluşan bir liste) içeren bir sözlüğe dönüştüren parse_invoice(text) yaz. Esnek ol: etiketler büyük/küçük harf duyarlı değildir, total yerine amount due okunabilir, satır öğeleri line veya item olarak etiketlenmiştir ve sayılar $ veya binlik ayırıcı virgüller içerebilir. Eksik satıcı -> "", eksik toplam -> 0.0, öğe yok -> []. Bir satır tutarı $ ve binlik ayırıcı virgüller içerebilir; bunların hiçbiri desc içinde yer almamalıdır (Line: Cloud Hosting $1,706.92 açıklama Cloud Hosting ve tutar 1706.92 verir).

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.