シラバス レッスン 250 中 188 · 本番のパターン:再試行、非同期、ストリーミング、メモリ
本番のパターン:再試行、非同期、ストリーミング、メモリ

ストリーミングのトークンの積み上げ

今のモデルは返答をストリーミングします:1 つの大きな応答の代わりに、実行環境が、生成されたそばから小さなトークンのかけらの並びを渡してくれるのです。だからチャットの UI では、テキストが単語ごとに現れていきます。受け取る側でのあなたの仕事は、そのかけらを答え全体に積み上げ、届くたびにそれぞれで何かをし(UI を更新する、トークンを数える、停止を見張る)、いつやめるかを知ることです。

ストリーミングをただの連結以上のものにすることが 2 つあります。1 つ目に、たいていかけらごとに呼ばれるコールバックを渡します -> ライブで入力されていくような効果はこうして動きます。2 つ目に、停止シーケンスがあることがよくあります:「本当の答えはここで終わり、残りは捨てる」という意味の目印です。それを見たらすぐに止め、停止のテキストは出力に含めません。

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

本物のエンジンはネットワークのストリームからこうしたかけらを生み出し、デバイス上の WebLLM エンジンは engine.chat.completions.create({ stream: true }) から生み出します。ここではかけらは渡されたただのリストなので、ロジックは決定的で、正確な積み上げを採点できます。積み上げ、かけらごとのコールバック、停止の扱いは、出荷するものと同じです。

consume_stream(chunks, on_token, stop=None) を作ってください。かけらをたどり、それぞれを累積の文字列に追加して、それについて on_token(chunk) を呼びます。stop が与えられていて、かけらがそれに等しければ、追加する前に止め(停止のテキストは含めない)、止めたことを覚えておきます。{"text": full_text, "n_tokens": chunks_consumed, "stopped": bool} を返します。停止シーケンスがなければ、すべてのかけらを消費します。

あなたの番

ストリーミングされたトークンのかけらをテキスト全体に積み上げ、消費したかけらごとに on_token(chunk) を呼び、停止シーケンスがあればそこで止め(停止のテキストそのものは含めない)、{"text", "n_tokens", "stopped"} を返す consume_stream(chunks, on_token, stop=None) を書いてください。積み上げたテキストは、停止までのかけらの "".join に等しく、停止は含めず、n_tokens は消費したかけらを数え、停止がなければすべてのかけらを消費します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。