استخراج الحقول من نص غير منظم
مرحباً بك في مشروعك الأساسي في ملف الأعمال. عبر أربعة دروس ستقوم ببناء Document Intelligence Service: وهو نوع الأنبوب الذي تشغله فرق التكنولوجيا المالية أو العمليات لتحويل كومة من الفواتير غير المنظمة إلى صفوف نظيفة ومحققة ومطابقة في قاعدة بيانات. في النهاية يمكنك إخبار مدير التوظيف بأنك "بنيت أنبوب استخراج مع التحقق من المخطط والمطابقة والتقييم" -> وتقصد ذلك حقاً.
الخطوة الأولى هي الجزء المتسخ الذي لا يحبه أحد لكن الجميع يحتاجه: استخراج الحقول المهيكلة من نص unstructured. يرسل البائع فاتورة ككتلة من النص. مهمتك هي parse_invoice(text) -> قاموس يحتوي على vendor، date، total (نوع float)، وline_items (قائمة من قواميس {"desc", "amount"}).
العقبة، والسبب في أن هذا عمل حقيقي: المستندات ليست موحدة. أحدها يقول Total:، والذي يليه يقول Amount Due، والثالث يملأ كل شيء بمسافات إضافية. الملصقات تختلف، حالة الأحرف تختلف، والمسافات البيضاء تختلف. المحلل الذي يتعامل مع تخطيط واحد دقيق فقط لا فائدة منه في البريد الحقيقي.
Vendor: Acme Corp
Date: 2026-01-15
Line: Widgets x10 120.00
Line: Shipping 8.50
Total: 128.50القواعد التي يجب على parser الخاص بك اتباعها:
- يأتي vendor من سطر يحمل العلامة
vendor(غير حساس لحالة الأحرف). خذ كل شيء بعد النقطتين الرأسيتين وقم بإزالته. - يأتي date من سطر يحمل العلامة
date. احتفظ بالنص الخام (درس لاحق يتحقق منه). - يأتي total من سطر يحمل تسمية
totalأوamount due(كلاهما يظهر في الواقع). قم بتحليل الرقم إلىfloat، مع تحمل$في البداية وفواصل الآلاف مثل1,250.00. - كل line item يقع على سطر يحمل العلامة
lineأوitem: النص قبل الرقم الأخير هوdesc(stripped)، والرقم الأخير هوamount(a float).
A طريقة نظيفة للدخول: التقسيم بناء على الأسطر الجديدة، ولكل سطر يتم التقسيم مرة واحدة عند أول : للحصول على label, rest. تحويل الملصق إلى أحرف صغيرة، إزالة المسافات، ثم التفرع. بالنسبة للمبلغ المتبقي في بند السطر، يقوم تعبير نمطي صغير مثل re.search(r"(-?[\d,]+\.?\d*)\s*$", rest) بجلب الرقم الأخير. الحقول المفقودة تأخذ قيمًا افتراضية منطقية: لا يوجد سطر بائع -> ""، لا يوجد إجمالي -> 0.0، لا توجد عناصر -> [].
تلجأ فرق الإنتاج بشكل متزايد إلى LLM في هذه الخطوة، لكن مخرجات الـ LLM لا يزال عليها أن تصل بهذا الشكل بالضبط وإلا تنكسر بقية خط المعالجة -> ولهذا تبني المحلّل الحتمي أولاً وتثق به. اضغط Run لتحليل فاتورة نموذجية وترى القاموس المنظّم يخرج.
اكتب parse_invoice(text) الذي يحول سلسلة فاتورة غير منظمة إلى dict يحتوي على vendor (str)، وdate (raw str)، وtotal (float)، وline_items (قائمة من dicts من نوع {"desc", "amount"}). كن متسامحا: التسميات غير حساسة لحالة الأحرف، وقد يقرأ total بدلا من ذلك amount due، وتسمى عناصر الأسطر line أو item، وقد تحمل الأرقام $ أو فواصل الآلاف. البائع المفقود -> ""، الإجمالي المفقود -> 0.0، لا توجد عناصر -> []. يمكن أن يحمل مبلغ السطر $ وفواصل الآلاف أيضا؛ ولا ينتمي أي منهما إلى desc (يوفر Line: Cloud Hosting $1,706.92 وصف Cloud Hosting ومبلغ 1706.92).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.