Словари и подсчёт
Почему это важно Прежде чем языковая модель увидит текст, кто-то считает его слова или части. Словарь - инструмент для подсчёта.
Словарь сопоставляет ключ значению, например слово тому, как часто оно встречается: {'the': 3, 'cat': 1}. Чтобы посчитать, найдите текущий счёт (0, если слово новое) и прибавьте 1.
counts = {}
for w in words:
counts[w] = counts.get(w, 0) + 1
counts.get(w, 0) значит: счёт для w, если он у нас есть, иначе 0.
Маленькие числа
В "The cat. The hat!" после перевода в нижний регистр и удаления пунктуации слова the, cat, the, hat, поэтому счёты the: 2, cat: 1, hat: 1. Без очистки "The", "the" и "cat." считались бы разными словами.
Итоги Очистить, разделить, посчитать через get(key, 0) + 1.
Слова и символы этого урока
- среднее, разброс
- среднее значение и примерно то, насколько далеко от него лежат значения (стандартное отклонение)
Напишите word_counts(text), которая возвращает словарь счётов слов. Переведите текст в нижний регистр, удалите эти символы, затем разделите по любым пробельным символам (пробелы, табуляции, переводы строк: text.split() без аргумента делает именно это): . , ! ? ; : " '. Пустой текст даёт пустой словарь.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.