Программа курса Урок 110 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

Что такое LLM?

большая языковая модель (LLM), такие как те, что стоят за чат-ассистентами, по сути, является гигантским предиктором следующего токена. Несколько терминов помогут во всем этом разобраться.

  • Tokens. Текст разбивается на части, которые называются токенами, это примерно слова или фрагменты слов. Модель читает и пишет токены, а не сырые символы. Примерное правило: один токен это около четырех английских символов.
  • Prediction. Учитывая токены до этого момента, модель выдает вероятность для каждого возможного следующего токена. Она выбирает один, добавляет его и повторяет процесс. Этот цикл определяет то, как она пишет целые абзацы.
  • Prompt. Текст, который вы вводите. Все, что модель знает о вашем запросе, находится в prompt, поэтому то, как вы его формулируете, имеет большое значение (следующие уроки).
  • Temperature. Регулятор случайности выбора. Близко к 0 модель почти всегда выбирает самый вероятный токен (сфокусированный, повторяющийся). Более высокие значения позволяют ей выбирать менее вероятные токены (более креативный, менее надежный). Локальные модели, такие как та, что в финальном проекте этого курса, все еще используют этот регулятор. Новые облачные модели Claude не используют его: они сами устанавливают выборку и отвечают на параметр temperature ошибкой, так что там вы управляете результатом через prompt.
  • Галлюцинация. Поскольку LLM предсказывает правдоподобный текст, а не ищет факты, она может уверенно говорить неверные вещи. Всегда проверяйте факты, которые она дает.

Настоящие токенизаторы основаны на подсловах и обучаются на данных. Мы не будем строить такой здесь, но мы можем создать самый простой токенизатор (разбиение по пробелам), чтобы почувствовать, что такое подсчет токенов. Количество токенов определяет, как измеряются использование и лимиты.

def tokenize(text):
    return text.split()   # whitespace tokens

tokenize("the cat sat")   # ['the', 'cat', 'sat']

Разделение по пробелам это лишь временное решение. Настоящие токенизаторы делят текст на части слов, поэтому общее правило для Бюджета это tokens ≈ len(text) / 4 символов, а рабочий код читает точное количество из поля usage которое возвращает API (или специальный эндпоинт count-tokens) вместо того чтобы гадать.

Рассуждающие модели

Все вышеперечисленное описывает модель, которая выдает свой ответ напрямую. Новая серия, reasoning модели, сначала тратит скрытый Бюджет токенов "размышления", прорабатывая задачу по шагам, а затем пишет финальный ответ. Это дополнительное обдумывание обеспечивает реальную accuracy на сложных многошаговых задачах (математика, код, тщательное планирование), и часто у вас есть регулятор: более высокий бюджет размышлений означает больше токенов размышления, больше задержки и большую стоимость. Инженерное суждение заключается просто в том, когда это стоит того: используйте reasoning модель на действительно сложных шагах и быструю, дешевую модель для рутинных. Вы примените именно этот компромисс позже, когда построите cost-aware каскад, который направляет простые запросы к дешевой модели и передает только сложные.

Твоя очередь

Напишите простой токенизатор пробелов. tokenize(text) возвращает список токенов, разделенных пробелами (используйте .split()). count_tokens(text) возвращает их количество. Затем установите tokens = tokenize(sample) и n_tokens = count_tokens(sample).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.