Dict và việc đếm
Vì sao điều này quan trọng Trước khi một mô hình ngôn ngữ nhìn thấy văn bản, ai đó đếm các từ hay các mảnh của nó. Một dict là công cụ để đếm.
Một dict ánh xạ một khóa tới một giá trị, như một từ tới số lần nó xuất hiện: {'the': 3, 'cat': 1}. Để đếm, hãy tra số đếm hiện tại (0 nếu mới) và cộng 1.
counts = {}
for w in words:
counts[w] = counts.get(w, 0) + 1
counts.get(w, 0) nghĩa là: số đếm cho w nếu ta có, nếu không thì 0.
Những con số nhỏ xíu
"The cat. The hat!" có các từ the, cat, the, hat một khi bạn chuyển thành chữ thường và bỏ dấu câu, nên các số đếm là the: 2, cat: 1, hat: 1. Không làm sạch, "The" và "the" và "cat." sẽ bị đếm là các từ khác nhau.
Tóm tắt Làm sạch, tách, đếm bằng get(key, 0) + 1.
Từ và ký hiệu trong bài học này
- trung bình, độ phân tán
- giá trị trung bình, và các giá trị nằm cách nó khoảng bao xa (độ lệch chuẩn)
Viết word_counts(text) trả về một dict số đếm từ. Chuyển văn bản thành chữ thường, và bỏ các ký tự sau, rồi tách theo bất kỳ khoảng trắng nào (dấu cách, tab, xuống dòng: text.split() không có đối số làm điều đó): . , ! ? ; : " '. Văn bản rỗng cho một dict rỗng.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.