سرفصل‌ها درس 180 از 250 · عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها
عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها

کش‌گذاری معنایی و هش

ارزان‌ترین تماس مدلی همان تماسی است که هرگز انجام نمی‌دهید. سیستم‌های LLM تولیدی یک پیش‌خوان در مقابل مدل، پرسش‌های تکراری یا تقریباً تکراری به‌صورت رایگان پاسخ داده می‌شوند. دو طعم بیشتر موارد را پوشش می‌دهند.

کش هش کلیدها در درخواست دقیق. ترفند این است که طبیعی کردن ابتدا پرس‌وجوهای اندکی متفاوت با هم برخورد می‌کنند: متن را به حروف کوچک تبدیل کنید، رشته‌های فضای خالی را به یک فاصله کاهش دهید و هر گزینه‌ای (دما، مدل) را در ترتیبی ثابت و مرتب قبل از هش کردن وارد کنید. سپس " Hello World " و "hello world" یک نکته را به اشتراک بگذارید. تبدیل حروف به حروف کوچک یک مصالحه است: در بیشتر سؤالات، حالت حروف بر پاسخ تأثیری ندارد، اما گاهی اوقات دارد (یک شناسه‌ی کد، «US» در مقابل «us)، بنابراین وقتی پرسش‌های شما به حالت حروف حساس هستند، آن را حذف کنید.

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

کش‌گذاری معنایی یک قدم فراتر می‌رود: وقتی یک پرس‌وجوی جدید می‌آید، یک پاسخ کش‌شده را بازمی‌گرداند. به معنای همانند یک مورد قدیمی، اندازه‌گیری شده توسط شباهت کسینوسی بین بردارهای امبدینگ. اگر نزدیک‌ترین بردار ذخیره‌شده نمره‌ای برابر یا بالاتر از آستانه (مثلاً ۰.۹) داشته باشد، یک تطابق است؛ در غیر این صورت یک عدم تطابق است و مدل را فراخوانی می‌کنید. در یک برنامهٔ واقعی بردارها از یک مدل امبدینگ می‌آیند؛ اینجا آن‌ها را مستقیماً وارد می‌کنیم تا منطق به‌صورت تعیین‌گرا باقی بماند. خطر یک ضربه‌ی اشتباه«چگونه سفارش خود را لغو کنم؟» و «چگونه اشتراک خود را لغو کنم؟» می‌توانند در فضای تعبیه‌ای بسیار به هم نزدیک باشند و به پاسخ‌های متفاوتی نیاز داشته باشند. آستانه را بالا تنظیم کنید، قبل از اعتماد به آن، ضربات نادرست را در ترافیک واقعی اندازه‌گیری کنید و هرگز پاسخ‌های حافظه پنهان معنایی را که به پرسشگر بستگی دارند، ذخیره نکنید.

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

سه چیز بساز. (۱) یک کلاس SemanticCache با put(query_vec, answer) و get(query_vec) که پاسخ ذخیره‌شدهٔ نزدیک‌ترین ورودی را زمانی بازمی‌گرداند که شباهت کسینوسی آن ≥ self.threshold، در غیر این صورت None. (2) cache_key(prompt, **opts) که نرمال‌سازی می‌کند (حروف را کوچک می‌کند، فاصله‌های اضافی را حذف می‌کند، کلیدهای گزینه را مرتب می‌کند) و یک هگزادسیمال برمی‌گرداند. hashlib.sha256 هضم، بنابراین دو ورودی ظاهراً متفاوت به یک کلید یکسان نگاشت می‌شوند. (۳) make_memoized(fn) -> یک کال‌ابل که استفاده می‌کند cache_key برای کش کردن نتایج و اکسپوزها .hits و .misses شمارنده‌ها

نوبت شما

ساخت (۱) SemanticCache (الف threshold در __init__، بعلاوه put(query_vec, answer) و get(query_vec) بازگرداندن نزدیک‌ترین پاسخ وقتی که شباهت کسینوس است >= در غیر این صورت None); (2) cache_key(prompt, **opts): نرمال‌سازی پرسش با re.sub(r"\s+", " ", prompt.strip().lower())، سپس هش "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) با hashlib.sha256 و هش هگزادیسک را بازگردانید (بررسی دقیقاً با همین دستورالعمل مقایسه می‌شود)؛ (۳) make_memoized(fn) بازگرداندن یک تابع قابل فراخوانی با .hits و .misses. بردار نزدیک‌تکرار باید تطبیق دهد، بردار دور‌تکرار باید تطبیق ندهد، و دو پرس‌وجوی با فاصله‌های متفاوت باید یک کلید مشترک داشته باشند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.