Программа курса Урок 188 из 250 · Паттерны для продакшена: Retries, Async, Streaming и Memory
Паттерны для продакшена: Retries, Async, Streaming и Memory

Накопление токенов в потоке

Современные модели stream свой ответ: вместо одного большого ответа среда выполнения выдает вам последовательность маленьких token chunks по мере их генерации. Вот почему чат интерфейсы показывают текст, появляющийся слово за словом. Ваша задача на стороне получения это accumulate эти фрагменты в полный ответ, делать что-то с каждым по мере поступления (обновлять UI, считать токены, следить за остановкой) и знать, когда пора закончить.

Две вещи делают стриминг чем-то большим, чем простое объединение. Во-первых, вы обычно передаете callback, который срабатывает на каждом чанке -> именно так работает эффект живой печати. Во-вторых, у вас часто есть стоп-последовательность: маркер, который означает "настоящий ответ заканчивается здесь, остальное удалите". Когда вы видите его, вы сразу останавливаетесь и делаете невключаете текст остановки в вывод.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

A реальный движок выдает эти фрагменты из сетевого потока; движок WebLLM на устройстве выдает их из engine.chat.completions.create({ stream: true }). Здесь фрагменты это просто список, который вам дают, поэтому логика детерминирована и вы можете оценить точное накопление. Накопление, callback для каждого фрагмента и обработка остановки идентичны тому, что поставляется.

Постройте consume_stream(chunks, on_token, stop=None). Пройдите по чанкам, добавляя каждый к текущей строке и вызывая on_token(chunk) для него. Если дан stop и чанк равен ему, остановитесь перед добавлением (текст остановки исключен) и запомните, что вы остановились. Верните {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Если последовательности остановки нет, каждый чанк потребляется.

Твоя очередь

Напишите consume_stream(chunks, on_token, stop=None), который накапливает потоковые фрагменты токенов в полный текст, вызывает on_token(chunk) для каждого потребленного фрагмента, останавливается на стоп-последовательности, если она есть (исключая сам текст остановки), и возвращает {"text", "n_tokens", "stopped"}. Накопленный текст равен "".join фрагментов до остановки; остановка исключена; n_tokens считает потребленные фрагменты; без остановки потребляются все фрагменты.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.