Trích xuất các trường từ văn bản lộn xộn
Chào mừng bạn đến với dự án portfolio quan trọng nhất của bạn. Qua bốn bài học, bạn sẽ xây dựng một Document Intelligence Service: loại quy trình mà một nhóm fintech hoặc vận hành chạy để biến một đống hóa đơn lộn xộn thành các hàng dữ liệu sạch, đã xác thực và đối soát trong cơ sở dữ liệu. Đến cuối khóa, bạn có thể nói với người tuyển dụng rằng bạn "đã xây dựng một quy trình trích xuất xác thực schema với đối soát và đánh giá" và thực sự có ý nghĩa như vậy.
Bước đầu tiên là phần khó khăn mà không ai thích nhưng ai cũng cần: trích xuất các trường có cấu trúc từ văn bản không cấu trúc. Một nhà cung cấp gửi hóa đơn qua email dưới dạng một khối văn bản. Nhiệm vụ của bạn là parse_invoice(text) -> một dict với vendor, date, total (một float), và line_items (một list các dict {"desc", "amount"}).
Điểm mấu chốt, và lý do đây là công việc thực tế: các tài liệu không đồng nhất. Một cái nói Total:, cái tiếp theo nói Amount Due, cái thứ ba lại thêm khoảng trắng dư thừa vào mọi thứ. Nhãn thay đổi, kiểu chữ thay đổi, khoảng trắng thay đổi. Một parser chỉ xử lý một bố cục chính xác duy nhất sẽ vô dụng với thư điện tử thực tế.
Vendor: Acme Corp
Date: 2026-01-15
Line: Widgets x10 120.00
Line: Shipping 8.50
Total: 128.50Các quy tắc mà parser của bạn phải tuân thủ:
- Nhà cung cấp vendor đến từ một dòng được gắn nhãn
vendor(không phân biệt chữ hoa chữ thường). Lấy mọi thứ sau dấu hai chấm và loại bỏ khoảng trắng. - Dữ liệu date đến từ một dòng được gắn nhãn
date. Hãy giữ nguyên chuỗi thô (bài học sau sẽ kiểm tra nó). - Tổng total đến từ một dòng có nhãn là
totalhoặcamount due(cả hai đều xuất hiện thực tế). Phân tích số đó thành mộtfloat, chấp nhận một$ở đầu và các dấu phẩy ngăn cách hàng nghìn như1,250.00. - Mỗi dòng mục nằm trên một dòng được gắn nhãn
linehoặcitem: phần văn bản trước số ở cuối làdesc(đã lược bỏ), và số ở cuối làamount(một số thực).
A cách làm sạch: chia theo dòng mới, và với mỗi dòng chia một lần tại : đầu tiên để lấy label, rest. Chuyển nhãn về chữ thường, loại bỏ khoảng trắng, và rẽ nhánh. Với số tiền ở cuối mỗi mục, một regex nhỏ như re.search(r"(-?[\d,]+\.?\d*)\s*$", rest) sẽ lấy số cuối cùng. Các trường thiếu sẽ mặc định hợp lý: không có dòng vendor -> "", không có tổng -> 0.0, không có mục -> [].
Các nhóm sản xuất ngày càng hay dùng LLM cho bước này, nhưng kết quả của LLM vẫn phải nằm đúng hình dạng này nếu không thì phần còn lại của pipeline sẽ bị lỗi. Đó là lý do tại sao bạn xây dựng bộ parser xác định trước và tin tưởng vào nó. Nhấn Run để phân tích một hóa đơn mẫu và xem dict có cấu trúc hiện ra.
Viết parse_invoice(text) để chuyển một chuỗi hóa đơn lộn xộn thành một dict với vendor (str), date (raw str), total (float), và line_items (một list các dict {"desc", "amount"}). Hãy linh hoạt: nhãn không phân biệt chữ hoa chữ thường, total có thể đọc là amount due, các mục hàng được gắn nhãn line hoặc item, và các con số có thể chứa $ hoặc dấu phẩy ngăn cách hàng nghìn. Thiếu vendor -> "", thiếu tổng -> 0.0, không có mục nào -> []. Một số tiền trên dòng có thể chứa $ và dấu phẩy hàng nghìn; cả hai không thuộc về desc (Line: Cloud Hosting $1,706.92 cho desc Cloud Hosting và amount 1706.92).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.