辞書と数えること
なぜ大切か 言語モデルが文章を見る前に、誰かがその言葉やかけらを数えます。辞書は数えるための道具です。
辞書はキーを値に対応させます。言葉を、それが現れる回数に対応させるように:{'the': 3, 'cat': 1}。数えるには、今の数(新しければ 0)を調べて 1 を足します。
counts = {}
for w in words:
counts[w] = counts.get(w, 0) + 1
counts.get(w, 0) は、w の数があればそれを、なければ 0 を、という意味です。
小さな数
"The cat. The hat!" は、小文字にして句読点を取り除くと the、cat、the、hat という言葉を持つので、数は the: 2、cat: 1、hat: 1 です。きれいにしないと、"The" と "the" と "cat." は違う言葉として数えられてしまいます。
まとめ きれいにし、分け、get(key, 0) + 1 で数える。
このレッスンの言葉と記号
- 平均、散らばり
- 平均と、値がそこからおおよそどれだけ離れているか(標準偏差)
言葉の数の辞書を返す word_counts(text) を書いてください。文章を小文字にし、次の文字を取り除き、それからあらゆる空白(空白、タブ、改行:引数なしの text.split() がそうします)で分けます:. , ! ? ; : " '。空の文章は空の辞書になります。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。