Программа курса Урок 138 из 246 · Модуль 12: Слова как числа (эмбеддинги)
Модуль 12: Слова как числа (эмбеддинги)

Обучение векторов слов (skip-gram)

Почему это важно Подсчёту нужна таблица V на V, что невозможно для миллиона слов. Word2vec вместо этого учит короткие векторы напрямую градиентным спуском, и та же идея, обучение векторов предсказанием контекста, есть внутри каждой языковой модели.

Skip-gram с negative sampling. У каждого слова два вектора: v (как само слово) и u (как чей-то контекст). Для настоящей пары (слово и слово из его предложения) поднимайте оценку v dot u; для k случайных "негативных" слов опускайте её:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

Градиенты по цепному правилу

При p = sigmoid(v . u_pos) и q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + сумма по k от q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

Прочитайте их: если настоящая пара уже имеет высокую оценку, p около 1, и почти ничего не меняется. Ошибки дают большие толчки, ровно как у перекрёстной энтропии.

Батчем, с None

Для батча p имеет форму (B,), а u_pos - (B, d). Чтобы масштабировать каждую строку u_pos на её собственное (p - 1), добавьте направление: (p - 1)[:, None] * u_pos, форма (B, 1) на (B, d). Для негативов q имеет форму (B, k), а v - (B, d); q[:, :, None] * v[:, None, :] выравнивает их как (B, k, 1) на (B, 1, d), давая (B, k, d): по одной масштабированной копии v на негатив. (None ввёл урок о формах из модуля по Python.)

Слова и символы этого урока
PPMI
во сколько раз чаще два слова встречаются, чем дал бы случай, с отрицательными значениями, заменёнными на 0
skip-gram, negative sampling
учить векторы, давая высокие оценки настоящим парам (слово, контекст) и низкие - случайным
Твоя очередь

Напишите sgns_grads(v, u_pos, u_neg) для батча: v и u_pos имеют форму (B, d), u_neg - (B, k, d). Верните (g_v, g_pos, g_neg) тех же форм. Цикл обучения её использует; затем 72 аналогии должны быть верны хотя бы на 90%.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.