Обучение векторов слов (skip-gram)
Почему это важно Подсчёту нужна таблица V на V, что невозможно для миллиона слов. Word2vec вместо этого учит короткие векторы напрямую градиентным спуском, и та же идея, обучение векторов предсказанием контекста, есть внутри каждой языковой модели.
Skip-gram с negative sampling. У каждого слова два вектора: v (как само слово) и u (как чей-то контекст). Для настоящей пары (слово и слово из его предложения) поднимайте оценку v dot u; для k случайных "негативных" слов опускайте её:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
Градиенты по цепному правилу
При p = sigmoid(v . u_pos) и q_k = sigmoid(v . u_neg_k):
- dL/dv = (p - 1) u_pos + сумма по k от q_k u_neg_k
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
Прочитайте их: если настоящая пара уже имеет высокую оценку, p около 1, и почти ничего не меняется. Ошибки дают большие толчки, ровно как у перекрёстной энтропии.
Батчем, с None
Для батча p имеет форму (B,), а u_pos - (B, d). Чтобы масштабировать каждую строку u_pos на её собственное (p - 1), добавьте направление: (p - 1)[:, None] * u_pos, форма (B, 1) на (B, d). Для негативов q имеет форму (B, k), а v - (B, d); q[:, :, None] * v[:, None, :] выравнивает их как (B, k, 1) на (B, 1, d), давая (B, k, d): по одной масштабированной копии v на негатив. (None ввёл урок о формах из модуля по Python.)
Слова и символы этого урока
- PPMI
- во сколько раз чаще два слова встречаются, чем дал бы случай, с отрицательными значениями, заменёнными на 0
- skip-gram, negative sampling
- учить векторы, давая высокие оценки настоящим парам (слово, контекст) и низкие - случайным
Напишите sgns_grads(v, u_pos, u_neg) для батча: v и u_pos имеют форму (B, d), u_neg - (B, k, d). Верните (g_v, g_pos, g_neg) тех же форм. Цикл обучения её использует; затем 72 аналогии должны быть верны хотя бы на 90%.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.