سرفصل‌ها درس 219 از 250 · پروژه: سرویس اطلاعات
پروژه: سرویس اطلاعات

استخراج فیلدها از متن نامنظم

به پروژه پرچمدار سبد کارتان خوش آمدید. در طول چهار درس، شما یک سرویس اطلاعات اسنادنوعی خط لوله که یک تیم فین‌تک یا عملیات برای تبدیل انبوهی از فاکتورهای نامنظم به سطرهای تمیز، معتبر و تطبیق‌یافته در یک پایگاه داده اجرا می‌کند. در پایان می‌توانید به مدیر استخدام بگویید «یک خط لوله استخراج با اعتبارسنجی طرحواره همراه با تطبیق و ارزیابی‌ها ساخته‌ام» و واقعاً منظورتان را بگویید.

مرحلهٔ اول بخش کثیفی است که هیچ‌کس دوستش ندارد اما همه به آن نیاز دارند: استخراج فیلدهای ساختاریافته از بدون ساختار متن. یک فروشنده یک فاکتور را به‌عنوان یک بلاب متن ایمیل می‌کند. وظیفه شما این است parse_invoice(text) -> یک دیکشنری با vendor, date, total (a float)، و line_items (فهرستی از {"desc", "amount"} فرمان‌ها

نکته و دلیل اینکه این یک کار واقعی است: اسناد هستند غیر یکنواخت. یکی می‌گوید Total:، بعدی می‌گوید Amount Due, سومین مورد همه چیز را با فاصله‌های اضافی پد می‌کند. برچسب‌ها متفاوت‌اند، حروف بزرگ متفاوت‌اند، فضای سفید متفاوت است. پارسری که فقط یک چینش دقیق را پردازش می‌کند، برای ایمیل‌های واقعی بی‌فایده است.

Vendor: Acme Corp
Date: 2026-01-15
Line: Widgets x10    120.00
Line: Shipping        8.50
Total: 128.50

قواعدی که پارسر شما باید رعایت کند:

  • آن فروشنده از یک خط برچسب‌خورده می‌آید vendor (بدون توجه به حروف بزرگ و کوچک). همه چیز بعد از دو نقطه را بردار و آن را پاک کن.
  • آن تاریخ از یک خط برچسب‌خورده می‌آید date. رشتهٔ خام را حفظ کنید (یک درس بعدی آن را اعتبارسنجی می‌کند).
  • آن مجموع از خاندانی می‌آید که نشان آن است total یا amount due (هر دو در طبیعت دیده شده‌اند). عدد را به a تجزیه کنید float، تحمل یک پیشرو $ و هزاران ویرگول مانند 1,250.00.
  • هر مادهٔ هزینه روی یک خط برچسب‌خورده قرار دارد line یا item: متنی که قبل از عدد پایانی قرار دارد، است desc (لخت شده)، و عدد دنباله عدد است amount (یک شناور)

یک روش تمیز برای ورود: بر اساس خط‌نوشت‌ها تقسیم کنید و برای هر خط یک‌بار بر اساس اولین تقسیم کنید. : به دست آوردن label, rest. برچسب را به حروف کوچک تبدیل کنید، آن را حذف کنید و شاخه‌بندی کنید. برای مقدار پول باقیمانده در یک آیتم خط، یک regex کوچک مانند re.search(r"(-?[\d,]+\.?\d*)\s*$", rest) آخرین شماره را می‌گیرد. فیلدهای خالی به‌طور معقول پیش‌فرض‌گذاری می‌شوند: خط فروشنده وجود ندارد -> ""، بدون مجموع -> 0.0، هیچ موردی -> [].

تیم‌های تولید به طور فزاینده‌ای در این مرحله از یک LLM استفاده می‌کنند، اما خروجی LLM همچنان باید در دقیقاً همین شکل یا بقیهٔ خط لوله می‌شکند -> به همین دلیل است که اول پارسر تعیین‌کننده را می‌سازید و به آن اعتماد می‌کنید. فشار دهید دویدن پارس کردن یک فاکتور نمونه و مشاهده خروجی دیکشنری ساختاریافته.

نوبت شما

نوشتن parse_invoice(text) که یک رشتهٔ نامنظم فاکتور را به یک دیکشنری با vendor (str)، date (رشته خام)، total (float)، و line_items (یک لیست از {"desc", "amount"} واژه‌نامه‌ها). شکیبا باشید: برچسب‌ها نسبت به حروف بزرگ و کوچک حساس نیستند، total ممکن است به جای آن بخواند amount due، آیتم‌های خطی برچسب‌گذاری شده‌اند line یا item، و اعداد ممکن است یک $ یا کاماهای هزارگان. فروشندهٔ مفقود -> ""، عدم وجود مجموع -> 0.0، بدون آیتم -> []. مقدار یک خط می‌تواند یک $ و ویرگول‌های هزارگان نیز؛ هیچ‌کدام در desc (Line: Cloud Hosting $1,706.92 desc را نمایش می‌دهد Cloud Hosting و مبلغ 1706.92).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.