Программа курса Урок 137 из 246 · Модуль 12: Слова как числа (эмбеддинги)
Модуль 12: Слова как числа (эмбеддинги)

Смысл из окружения, в котором слово бывает

Почему это важно "Слово узнают по компании, в которой оно бывает." Посчитайте, какие слова встречаются рядом с какими, и одни счёты поставят king рядом с queen и позволят делать арифметику вроде king минус man плюс woman.

Чтобы честно это проверить, нужно знать правильные ответы, поэтому этот урок использует выдуманный маленький мир с заложенной структурой: каждый человек королевского рода или простой, он или она, взрослый или юный, и каждое из этого проявляется другими словами в том же предложении ("the queen rules in the palace and she reads"). Настоящий текст гораздо беспорядочнее, но механизм тот же.

От счётов к векторам

Посчитайте для каждой пары слов, как часто они встречаются в пределах окна в w слов друг от друга. Строка счётов каждого слова - его вектор. Помощник превращает сырые счёты в "во сколько раз чаще, чем случайно" (PPMI), чтобы "the" не доминировало над всем.

На аналогию a : b = c : ? отвечает слово, ближайшее к b минус a плюс c. В этом мире 72 таких вопроса.

Предскажите: с окном в 2 слова и с окном, покрывающим всё 9-словное предложение, какая доля будет верна?

Слова и символы этого урока
окно
сколько слов с каждой стороны считается окружением слова
PPMI
во сколько раз чаще два слова встречаются, чем дал бы случай, с отрицательными значениями, заменёнными на 0
Твоя очередь

Присвойте my_guess два своих предсказания. Напишите cooccurrence(sents, win): массив счётов V на V, прибавляющий 1 к [word, other] для каждого другого слова в пределах win позиций в том же предложении. Затем заполните acc для окон 2 и 8 через score(ppmi(...)).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.