Смотрите: Как текст становится числами
Прежде чем LLM сможет что-то сделать с вашим prompt, она должна превратить ваш текст в числа, потому что нейронная сеть делает математические операции только с числами. Шаг, который делает это, это tokenization.
Нажмите play. Посмотрите, как одно слово разделяется на tokens (частые фрагменты текста, часто части слов, а не целые слова), и как каждый токен становится integer id из словаря модели. После этого модель больше не видит букв, только список ids.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.