Программа курса Урок 134 из 246 · Модуль 12: Слова как числа (эмбеддинги)
Модуль 12: Слова как числа (эмбеддинги)

Эмбеддинг - это поиск, а поиск - это умножение

Почему это важно Сеть умеет только арифметику, а текст состоит из символов. Каждая языковая модель начинает с того, что превращает каждый символ в короткий список чисел, его эмбеддинг.

Дайте каждому символу номер от 0 до V минус 1 (его id). В таблице эмбеддингов E одна строка на символ, по d чисел. Превратить id в числа - значит просто прочитать его строку: E[id].

Почему это всё равно слой

Запишите id как вектор one-hot: V нулей с единственной 1 на позиции id. Тогда one-hot, умноженный на E, выбирает ровно эту строку. Значит, эмбеддинг - линейный слой, вход которого оказался one-hot. Мы делаем поиск вместо этого, потому что он пропускает V × d умножений на ноль.

Это также говорит, как он обучается: градиент доходит только до использованных строк. Символ, который ни разу не появился в батче, сохраняет свою строку без изменений.

Маленькие числа

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. id 1 как one-hot - это [0, 1, 0], а [0, 1, 0], умноженный на E, = [3, 4], то же самое, что E[1].

Слова и символы этого урока
эмбеддинг
строка обучаемых чисел, обозначающая один символ
one-hot
V нулей с единственной 1; умноженный на таблицу, выбирает одну строку
Твоя очередь

Напишите onehot(ids, V), возвращающую массив формы (len(ids), V). Затем присвойте rows_with_gradient число строк таблицы эмбеддингов, получающих ненулевой градиент после показанного обратного прохода.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.