Эмбеддинг - это поиск, а поиск - это умножение
Почему это важно Сеть умеет только арифметику, а текст состоит из символов. Каждая языковая модель начинает с того, что превращает каждый символ в короткий список чисел, его эмбеддинг.
Дайте каждому символу номер от 0 до V минус 1 (его id). В таблице эмбеддингов E одна строка на символ, по d чисел. Превратить id в числа - значит просто прочитать его строку: E[id].
Почему это всё равно слой
Запишите id как вектор one-hot: V нулей с единственной 1 на позиции id. Тогда one-hot, умноженный на E, выбирает ровно эту строку. Значит, эмбеддинг - линейный слой, вход которого оказался one-hot. Мы делаем поиск вместо этого, потому что он пропускает V × d умножений на ноль.
Это также говорит, как он обучается: градиент доходит только до использованных строк. Символ, который ни разу не появился в батче, сохраняет свою строку без изменений.
Маленькие числа
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. id 1 как one-hot - это [0, 1, 0], а [0, 1, 0], умноженный на E, = [3, 4], то же самое, что E[1].
Слова и символы этого урока
- эмбеддинг
- строка обучаемых чисел, обозначающая один символ
- one-hot
- V нулей с единственной 1; умноженный на таблицу, выбирает одну строку
Напишите onehot(ids, V), возвращающую массив формы (len(ids), V). Затем присвойте rows_with_gradient число строк таблицы эмбеддингов, получающих ненулевой градиент после показанного обратного прохода.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.