ストリーミングのトークンの積み上げ
今のモデルは返答をストリーミングします:1 つの大きな応答の代わりに、実行環境が、生成されたそばから小さなトークンのかけらの並びを渡してくれるのです。だからチャットの UI では、テキストが単語ごとに現れていきます。受け取る側でのあなたの仕事は、そのかけらを答え全体に積み上げ、届くたびにそれぞれで何かをし(UI を更新する、トークンを数える、停止を見張る)、いつやめるかを知ることです。
ストリーミングをただの連結以上のものにすることが 2 つあります。1 つ目に、たいていかけらごとに呼ばれるコールバックを渡します -> ライブで入力されていくような効果はこうして動きます。2 つ目に、停止シーケンスがあることがよくあります:「本当の答えはここで終わり、残りは捨てる」という意味の目印です。それを見たらすぐに止め、停止のテキストは出力に含めません。
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callback本物のエンジンはネットワークのストリームからこうしたかけらを生み出し、デバイス上の WebLLM エンジンは engine.chat.completions.create({ stream: true }) から生み出します。ここではかけらは渡されたただのリストなので、ロジックは決定的で、正確な積み上げを採点できます。積み上げ、かけらごとのコールバック、停止の扱いは、出荷するものと同じです。
consume_stream(chunks, on_token, stop=None) を作ってください。かけらをたどり、それぞれを累積の文字列に追加して、それについて on_token(chunk) を呼びます。stop が与えられていて、かけらがそれに等しければ、追加する前に止め(停止のテキストは含めない)、止めたことを覚えておきます。{"text": full_text, "n_tokens": chunks_consumed, "stopped": bool} を返します。停止シーケンスがなければ、すべてのかけらを消費します。
ストリーミングされたトークンのかけらをテキスト全体に積み上げ、消費したかけらごとに on_token(chunk) を呼び、停止シーケンスがあればそこで止め(停止のテキストそのものは含めない)、{"text", "n_tokens", "stopped"} を返す consume_stream(chunks, on_token, stop=None) を書いてください。積み上げたテキストは、停止までのかけらの "".join に等しく、停止は含めず、n_tokens は消費したかけらを数え、停止がなければすべてのかけらを消費します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。