Программа курса Урок 139 из 246 · Модуль 12: Слова как числа (эмбеддинги)
Модуль 12: Слова как числа (эмбеддинги)

Векторы копируют свои данные, включая перекосы

Почему это важно Эмбеддинги учат любые закономерности, которые есть в тексте, включая те, которых никто не хочет. Векторы слов, обученные на настоящих новостях, ставят одни профессии ближе к "she", а другие ближе к "he". Это можно измерить, и это стоит делать.

Постройте направление рода из пар, различающихся только родом: queen минус king, woman минус man, princess минус prince, girl минус boy, сложенные и масштабированные до длины 1. Положение слова на нём - его (единичный) вектор, скалярно умноженный на направление: положительное тяготеет к "she", отрицательное - к "he".

Игрушечный мир может добавить перекос: при перекосе 0,4 предложения о nurse говорят "she" в 90% случаев, а предложения об engineer говорят "he" в 90% случаев. Doctor и teacher остаются 50:50. Больше ничего не меняется.

Его удаление, и подвох

Можно вычесть компоненту каждой профессии вдоль направления, что ставит её положение ровно в 0. В этом игрушечном мире это работает почти полностью: после удаления nurse и engineer сидят примерно одинаково близко к "she" и "he" (косинусы 0,114 и 0,118 в обе стороны). Это потому, что здесь перекос живёт в одном слове, местоимении. На векторах слов, обученных на настоящем тексте, исследователи нашли обратное: перекос размазан по тысячам слов, которые одно направление не может уловить, поэтому после удаления соседи профессии всё равно её выдают. Поэтому чистое показание линейки - не доказательство того, что перекос ушёл, и честное исправление начинается с данных.

Слова и символы этого урока
эмбеддинг
строка обучаемых чисел, обозначающая один символ
окно
сколько слов с каждой стороны считается окружением слова
PPMI
во сколько раз чаще два слова встречаются, чем дал бы случай, с отрицательными значениями, заменёнными на 0
игрушечный мир
выдуманный текст с заложенной структурой, чтобы правильные ответы были известны
перекос
однобокая закономерность в данных, которую копируют векторы
Твоя очередь

Напишите gender_direction(X) и position(X, word, g). Обе работают с единичными векторами: сначала разделите вектор каждого слова на его длину, затем возьмите четыре разности (queen минус king, woman минус man, princess минус prince, girl минус boy), сложите их и масштабируйте сумму до длины 1. Положение - единичный вектор слова, скалярно умноженный на g. Заполните pos: перекос (0.0 и 0.4) к словарю положений четырёх профессий, используя векторы счётов с целым предложением в качестве окна. Затем напишите remove(x, g), которая убирает компоненту вдоль g.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.