Векторы копируют свои данные, включая перекосы
Почему это важно Эмбеддинги учат любые закономерности, которые есть в тексте, включая те, которых никто не хочет. Векторы слов, обученные на настоящих новостях, ставят одни профессии ближе к "she", а другие ближе к "he". Это можно измерить, и это стоит делать.
Постройте направление рода из пар, различающихся только родом: queen минус king, woman минус man, princess минус prince, girl минус boy, сложенные и масштабированные до длины 1. Положение слова на нём - его (единичный) вектор, скалярно умноженный на направление: положительное тяготеет к "she", отрицательное - к "he".
Игрушечный мир может добавить перекос: при перекосе 0,4 предложения о nurse говорят "she" в 90% случаев, а предложения об engineer говорят "he" в 90% случаев. Doctor и teacher остаются 50:50. Больше ничего не меняется.
Его удаление, и подвох
Можно вычесть компоненту каждой профессии вдоль направления, что ставит её положение ровно в 0. В этом игрушечном мире это работает почти полностью: после удаления nurse и engineer сидят примерно одинаково близко к "she" и "he" (косинусы 0,114 и 0,118 в обе стороны). Это потому, что здесь перекос живёт в одном слове, местоимении. На векторах слов, обученных на настоящем тексте, исследователи нашли обратное: перекос размазан по тысячам слов, которые одно направление не может уловить, поэтому после удаления соседи профессии всё равно её выдают. Поэтому чистое показание линейки - не доказательство того, что перекос ушёл, и честное исправление начинается с данных.
Слова и символы этого урока
- эмбеддинг
- строка обучаемых чисел, обозначающая один символ
- окно
- сколько слов с каждой стороны считается окружением слова
- PPMI
- во сколько раз чаще два слова встречаются, чем дал бы случай, с отрицательными значениями, заменёнными на 0
- игрушечный мир
- выдуманный текст с заложенной структурой, чтобы правильные ответы были известны
- перекос
- однобокая закономерность в данных, которую копируют векторы
Напишите gender_direction(X) и position(X, word, g). Обе работают с единичными векторами: сначала разделите вектор каждого слова на его длину, затем возьмите четыре разности (queen минус king, woman минус man, princess минус prince, girl минус boy), сложите их и масштабируйте сумму до длины 1. Положение - единичный вектор слова, скалярно умноженный на g. Заполните pos: перекос (0.0 и 0.4) к словарю положений четырёх профессий, используя векторы счётов с целым предложением в качестве окна. Затем напишите remove(x, g), которая убирает компоненту вдоль g.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.