دیکشنریها و شمردن
چرا مهم است پیش از آنکه یک مدل زبانی متنی را ببیند، کسی واژهها یا تکههایش را میشمارد. دیکشنری ابزار شمردن است.
یک دیکشنری یک کلید را به یک مقدار نگاشت میکند، مثل یک واژه به اینکه چند بار آمده: {'the': 3, 'cat': 1}. برای شمردن، شمارش فعلی را بیابید (اگر تازه است 0) و 1 اضافه کنید.
counts = {}
for w in words:
counts[w] = counts.get(w, 0) + 1
counts.get(w, 0) یعنی: شمارش w اگر داریم، وگرنه 0.
اعداد کوچک
«The cat. The hat!» وقتی حروف را کوچک کنید و نشانهگذاری را بردارید واژههای the، cat، the، hat را دارد، پس شمارشها the: 2، cat: 1، hat: 1 هستند. بدون پاکسازی، «The» و «the» و «cat.» واژههای متفاوتی شمرده میشدند.
خلاصه پاک کنید، جدا کنید، با get(key, 0) + 1 بشمارید.
واژهها و نمادهای این درس
- میانگین، پراکندگی
- متوسط، و تقریباً اینکه مقدارها چقدر از آن فاصله دارند (انحراف معیار)
word_counts(text) را بنویسید که دیکشنریای از شمارش واژهها برمیگرداند. حروف متن را کوچک کنید و این نویسهها را حذف کنید، سپس بر اساس هر فاصلهٔ سفیدی جدا کنید (فاصله، تب، خط تازه: text.split() بدون آرگومان همین کار را میکند): . , ! ? ; : " '. متن خالی دیکشنری خالی میدهد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.