محاسبة الرموز/التكلفة + التخزين المؤقت
يقوم gateway الخاص بك بتوجيه الطلبات الآن، لكن كل استدعاء لنموذج حقيقي يكلف مالا ووقتا. أهم أداتين تتحكم بهما هما cost accounting (حتى لا يتفاجأ أحد بالفاتورة) و caching (حتى تتوقف عن دفع ثمن الإجابة نفسها مرتين). يبني هذا الدرس كلاهما، ويحتوي caching على لمسة تجعله مفيدا حقا: فهو يلتقط الأسئلة المتشابهة تقريبا، وليس فقط التكرارات المتطابقة حرفيا.
ابدأ بالعداد. تقدير الرموز الرخيص والمحدد هو "حوالي رمز واحد لكل أربعة أحرف"، والتكلفة هي مجرد الرموز مضروبة في معدل لكل رمز:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rateالآن الذاكرة المؤقتة. تعتمد الذاكرة المؤقتة البدائية على النص الدقيق، لذا يبدو "Reset my password" و "reset my password" كأنهما سؤالان مختلفان وكلاهما يدفع السعر الكامل. ستقوم ببناء two-tier Cache class:
- طبقة Hash: قم بتطبيع النص (تحويله إلى أحرف صغيرة، ودمج المسافات البيضاء)، ثم قم بعمل hash له، وخزن الإجابة تحت ذلك المفتاح. التكرار المطابق (بعد التطبيع) يعتبر إصابة فورية.
- المستوى الدلالي:عندما يفشل الهاش، قارن embedding للاستعلام بكل embedding مخزن بواسطة cosine similarity. إذا كان الأقرب عند أو فوق عتبة معينة (مثل
0.9)، فإن ذلك يعتبر إصابة أيضاً. هذه هي الطريقة التي"password reset steps"يصل بها إلى"how do I reset my password"مخزن.
كلا من put و get يأخذان النص and كتمثيل مسبق الحساب (متجه صغير). get تعيد (status, value) صفاً حيث الحالة هي "hit" أو "miss":
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)تشابه جيب التمام هو حاصل الضرب النقطي مقسوما على حاصل ضرب المعايير؛ احذر من المتجه الصفر حتى لا تقسم على صفر أبدا. في بوابة حقيقية تأتي تلك التضمينات من النموذج، ولكن هنا تقوم بتمريرها مباشرة ليكون المنطق قابلا للاختبار دون اتصال. اضغط على Run لتسعير prompt، واصطدم بالcache بالضبط، واصطدم به مرة أخرى عند paraphrase، وشاهد استعلاما غير ذي صلة يفشل في الإصابة.
اكتب estimate_cost(text, rate) الذي يعيد تقدير الرموز (حوالي 1 رمز لكل 4 أحرف) مضروبا في rate لكل رمز. ثم ابنِ فئة Cache ذات مستويين مع put(text, embedding, answer) و get(text, embedding) تعيد زوجا من نوع (status, value). وظيفة get هي "hit" عند تطابق نصي دقيق (معياري: أحرف صغيرة، ومسافات مضغوطة) عبر hash، أو عندما يكون التشابه الجيبي لأقرب embedding مخزن هو >= العتبة (إصابة دلالية)؛ وإلا ("miss", None). يجب أن يفشل أي استعلام متميز ذو تشابه منخفض.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.