Смысл из окружения, в котором слово бывает
Почему это важно "Слово узнают по компании, в которой оно бывает." Посчитайте, какие слова встречаются рядом с какими, и одни счёты поставят king рядом с queen и позволят делать арифметику вроде king минус man плюс woman.
Чтобы честно это проверить, нужно знать правильные ответы, поэтому этот урок использует выдуманный маленький мир с заложенной структурой: каждый человек королевского рода или простой, он или она, взрослый или юный, и каждое из этого проявляется другими словами в том же предложении ("the queen rules in the palace and she reads"). Настоящий текст гораздо беспорядочнее, но механизм тот же.
От счётов к векторам
Посчитайте для каждой пары слов, как часто они встречаются в пределах окна в w слов друг от друга. Строка счётов каждого слова - его вектор. Помощник превращает сырые счёты в "во сколько раз чаще, чем случайно" (PPMI), чтобы "the" не доминировало над всем.
На аналогию a : b = c : ? отвечает слово, ближайшее к b минус a плюс c. В этом мире 72 таких вопроса.
Предскажите: с окном в 2 слова и с окном, покрывающим всё 9-словное предложение, какая доля будет верна?
Слова и символы этого урока
- окно
- сколько слов с каждой стороны считается окружением слова
- PPMI
- во сколько раз чаще два слова встречаются, чем дал бы случай, с отрицательными значениями, заменёнными на 0
Присвойте my_guess два своих предсказания. Напишите cooccurrence(sents, win): массив счётов V на V, прибавляющий 1 к [word, other] для каждого другого слова в пределах win позиций в том же предложении. Затем заполните acc для окон 2 и 8 через score(ppmi(...)).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.