シラバス レッスン 250 中 180 · LLM を本番に載せる:コスト、キャッシュ、ガードレール
LLM を本番に載せる:コスト、キャッシュ、ガードレール

意味とハッシュによるキャッシュ

いちばん安いモデルの呼び出しは、決してしない呼び出しです。本番の LLM システムは、モデルの前にキャッシュを置いて、繰り返される、あるいはほとんど繰り返される質問にただで答えます。2 つの種類で、ほとんどの場合をまかなえます。

ハッシュによるキャッシュは、まったく同じリクエストをキーにします。コツは、ささいな違いのプロンプトが衝突するように、先に正規化することです:テキストを小文字にし、連続する空白を 1 つの空白にまとめ、ハッシュする前に、オプション(temperature、モデル)を決まった、並べ替えた順番で混ぜ込みます。そうすれば " Hello World " と "hello world" が 1 つのキーを共有します。小文字にするのはトレードオフです:ほとんどの質問では大文字・小文字で答えは変わりませんが、変わることもある(コードの識別子、"US" と "us")ので、プロンプトが大文字・小文字を区別するなら省きましょう。

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

意味によるキャッシュはさらに進みます:新しいクエリが古いものと同じことを意味するとき、埋め込みベクトルのあいだのコサイン類似度で測って、キャッシュした答えを返すのです。いちばん近い保存済みのベクトルのスコアがしきい値(たとえば 0.9)以上ならヒットで、そうでなければミスなのでモデルを呼びます。本物のアプリではベクトルは埋め込みモデルから来ますが、ここではロジックが決定的なままになるように直接渡します。危険なのは誤ったヒットです:「注文をキャンセルするには?」と「サブスクリプションをキャンセルするには?」は、埋め込みの空間でとても近くにありえますが、違う答えが必要です。しきい値は高めにし、信用する前に本物のトラフィックで誤ったヒットを測り、誰が尋ねているかによって変わる答えは決して意味でキャッシュしないでください。

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

3 つのものを作ってください。(1) put(query_vec, answer) と、いちばん近い項目のコサイン類似度が self.threshold 以上(>=)ならその保存した答えを、そうでなければ None を返す get(query_vec) を持つクラス SemanticCache。(2) 正規化して(小文字にし、空白をまとめ、オプションのキーを並べ替える)16 進の hashlib.sha256 のダイジェストを返し、表面的に違う 2 つのプロンプトを同じキーに対応させる cache_key(prompt, **opts)。(3) make_memoized(fn) -> cache_key を使って結果をキャッシュし、.hits と .misses のカウンターを公開する呼び出し可能なもの。

あなたの番

(1) SemanticCache(__init__ に threshold を持ち、さらに put(query_vec, answer) と、コサイン類似度がしきい値 >= ならいちばん近い答えを、そうでなければ None を返す get(query_vec))、(2) cache_key(prompt, **opts):re.sub(r"\s+", " ", prompt.strip().lower()) でプロンプトを正規化し、それから "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) を hashlib.sha256 でハッシュして 16 進のダイジェストを返す(チェックはまさにこの作り方と比べます)、(3) .hits と .misses を持つ呼び出し可能なものを返す make_memoized(fn) を作ってください。ほとんど重複したベクトルはヒットし、遠いものはミスし、空白の入り方が違う 2 つのプロンプトはキーを共有しなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。