Токены: слияние самых частых пар
Почему это важно Настоящие модели читают не символы и не целые слова. Они читают токены, промежуточные куски, сделанные простым правилом подсчёта. Поэтому модель "видит" частое слово как один кусок, а редкое - как несколько.
Byte pair encoding (BPE) начинает с отдельных символов и повторяет один шаг: найти пару соседних символов, которая чаще всего встречается в тексте, и везде склеить её в один новый символ.
Крошечный пример
Слова "low" (5 раз) и "lot" (2 раза). Пары: l o встречается 7 раз, o w - 5, o t - 2. Сливаем l o: теперь "lo w" и "lo t". Затем lo w встречается 5 раз: сливаем, и "low" - единый токен.
Настоящие токенизаторы добавляют две вещи, которые этот урок опускает. Они начинают с байтов, а не символов, поэтому любой текст на любом языке, включая эмодзи, можно записать, начав с 256 символов. И они отмечают, где начинаются слова (GPT-2 приклеивает пробел к началу следующего слова), так что кусок в начале слова и те же буквы внутри слова становятся разными токенами. Символы на слово - цена чтения посимвольно. Токены на слово падают по мере добавления слияний: меньше и крупнее шаги для модели ценой большего словаря.
Слова и символы этого урока
- токен, BPE
- кусок текста, который читает модель; byte pair encoding снова и снова склеивает самую частую соседнюю пару
Напишите pair_counts(vocab) (как часто встречается каждая соседняя пара, взвешенно по числу слов) и merge(vocab, pair) (склеить эту пару везде). Угадайте my_guess, число токенов на слово после 200 слияний (вначале около 4,6). Цикл написан за вас.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.