Программа курса Урок 136 из 246 · Модуль 12: Слова как числа (эмбеддинги)
Модуль 12: Слова как числа (эмбеддинги)

Токены: слияние самых частых пар

Почему это важно Настоящие модели читают не символы и не целые слова. Они читают токены, промежуточные куски, сделанные простым правилом подсчёта. Поэтому модель "видит" частое слово как один кусок, а редкое - как несколько.

Byte pair encoding (BPE) начинает с отдельных символов и повторяет один шаг: найти пару соседних символов, которая чаще всего встречается в тексте, и везде склеить её в один новый символ.

Крошечный пример

Слова "low" (5 раз) и "lot" (2 раза). Пары: l o встречается 7 раз, o w - 5, o t - 2. Сливаем l o: теперь "lo w" и "lo t". Затем lo w встречается 5 раз: сливаем, и "low" - единый токен.

Настоящие токенизаторы добавляют две вещи, которые этот урок опускает. Они начинают с байтов, а не символов, поэтому любой текст на любом языке, включая эмодзи, можно записать, начав с 256 символов. И они отмечают, где начинаются слова (GPT-2 приклеивает пробел к началу следующего слова), так что кусок в начале слова и те же буквы внутри слова становятся разными токенами. Символы на слово - цена чтения посимвольно. Токены на слово падают по мере добавления слияний: меньше и крупнее шаги для модели ценой большего словаря.

Слова и символы этого урока
токен, BPE
кусок текста, который читает модель; byte pair encoding снова и снова склеивает самую частую соседнюю пару
Твоя очередь

Напишите pair_counts(vocab) (как часто встречается каждая соседняя пара, взвешенно по числу слов) и merge(vocab, pair) (склеить эту пару везде). Угадайте my_guess, число токенов на слово после 200 слияний (вначале около 4,6). Цикл написан за вас.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.