Программа курса Урок 109 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

Смотрите: Как текст становится числами

Прежде чем LLM сможет что-то сделать с вашим prompt, она должна превратить ваш текст в числа, потому что нейронная сеть делает математические операции только с числами. Шаг, который делает это, это tokenization.

Нажмите play. Посмотрите, как одно слово разделяется на tokens (частые фрагменты текста, часто части слов, а не целые слова), и как каждый токен становится integer id из словаря модели. После этого модель больше не видит букв, только список ids.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.