سرفصل‌ها درس 227 از 250 · پروژه: دروازه هوش مصنوعی تولید
پروژه: دروازه هوش مصنوعی تولید

محاسبه توکن/هزینه + کشینگ

دروازه‌بان شما اکنون درخواست‌ها را مسیریابی می‌کند، اما هر فراخوانی به یک مدل واقعی هزینه و زمان دارد. دو اهرم اصلی که شما کنترل می‌کنید عبارتند از حسابداری بهای تمام‌شده (تا هیچ‌کس از لایحه شوکه نشود) و کش‌گذاری (تا دیگر برای یک پاسخ یکسان دوبار هزینه نکنید). این درس هر دو را پی‌ریزی می‌کند و کش‌کردن آن یک پیچش دارد که آن را واقعاً مفید می‌سازد: این ویژگی نه فقط تکرارهای بایت‌به‌بایت، بلکه پرسش‌های تقریباً تکراری را نیز ذخیره می‌کند.

با متر شروع کنید. یک برآورد توکنی ساده و قطعی «حدود یک توکن به ازای هر چهار کاراکتر» است، و هزینه صرفاً برابر است با تعداد توکن‌ها ضربدر نرخ هر توکن:

def estimate_cost(text, rate):
    tokens = len(text) // 4
    return tokens * rate

حالا کش. یک کش ساده‌لوح بر روی رشتهٔ دقیق کلیدبندی می‌کند، بنابراین "Reset my password" و "reset my password" به نظر می‌رسد سؤال‌های متفاوتی باشند و هر دو قیمت کامل را پرداخت می‌کنند. شما یک خواهید ساخت دو‌طبقه Cache کلاس:

  • لایه هش: متن را نرمال کنید (حروف را به حروف کوچک تبدیل کنید و فاصله‌های اضافی را حذف کنید)، آن را هش کنید و پاسخ را زیر آن کلید ذخیره کنید. یک تکرار دقیق (پس از نرمال‌سازی) یک تطابق فوری است.
  • لایه معنایی: وقتی هش خطا می‌دهد، پرس‌وجو را مقایسه کنید. جاسازی به هر توفید ذخیره‌شده توسط شباهت کسینوسی. اگر نزدیک‌ترین به آستانه باشد یا از آن فراتر رود (مثلاً 0.9)، که آن هم به حساب یک هیت می‌آید. این است چگونه "password reset steps" یک هیت کَش‌شده "how do I reset my password".

هر دو put و get متن را بردار و یک توفش پیش‌حساب‌شده (یک بردار کوچک). get یک a را بازمی‌گرداند (status, value) تُپل جایی که وضعیت است "hit" یا "miss":

def get(self, text, embedding):
    key = self._key(text)
    if key in self.by_hash:            # tier 1: exact
        return ("hit", self.by_hash[key])
    best, best_sim = None, -1.0        # tier 2: semantic
    for vec, answer in self.entries:
        sim = cosine(embedding, vec)
        if sim > best_sim:
            best_sim, best = sim, answer
    if best is not None and best_sim >= self.threshold:
        return ("hit", best)
    return ("miss", None)

شباهت کسینوسی عبارت است از حاصل ضرب نقطه‌ای تقسیم بر حاصل ضرب نرمال‌ها؛ مراقب بردار صفر باشید تا هرگز بر صفر تقسیم نکنید. در یک گیت‌وی واقعی آن امبدینگ‌ها از مدل استخراج می‌شوند، اما اینجا آن‌ها را مستقیماً وارد می‌کنید تا منطق به‌صورت آفلاین قابل آزمون باشد. فشار دهید دویدن قیمت‌گذاری یک پرامپت، دقیقاً به کش خوردن آن، دوباره به آن خوردن در یک بازنویسی، و تماشای یک پرسش نامرتبط که به آن نمی‌خورد.

نوبت شما

یک estimate_cost(text, rate) بنویسید که تخمین توکن (حدود ۱ توکن در هر ۴ کاراکتر) را در rate به ازای هر توکن ضرب کند. سپس یک کلاس دو‌سطحی Cache با put(text, embedding, answer) و get(text, embedding) بسازید که یک تِپل (status, value) را بازگردانَد. get یک "hit" بر روی تطابق دقیق متن (نرمال‌شده: به حروف کوچک، با حذف فاصله‌ها) از طریق هش است، یا زمانی که نزدیک‌ترین امبدینگ ذخیره‌شده دارای شباهت کسینوسی >= با آستانه باشد (یک تطابق معنایی)؛ در غیر این صورت ("miss", None). یک پرس‌وجوی متمایز با شباهت کم باید نادیده گرفته شود.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.