التخزين المؤقت الدلالي والهاش
أرخص استدعاء للنموذج هو الذي لا تقوم به أبدا. تضع أنظمة LLM في الإنتاج cache أمام النموذج لتتم الإجابة على الأسئلة المتكررة أو المشابهة لها مجانا. يغطي نوعان معظم الحالات.
Hash caching المفاتيح بناء على الطلب الدقيق. الحيلة هي normalize أولا حتى تتصادم المطالبات المختلفة بشكل بسيط: تحويل النص إلى أحرف صغيرة، ودمج مساحات الفراغ المتتالية إلى مسافة واحدة، ودمج الخيارات (temperature، model) بترتيب مستقر ومرتب قبل التجزئة. ثم " Hello World " و "hello world" يتشاركان مفتاحا واحدا. تحويل الأحرف إلى صغيرة هو مقايضة: بالنسبة لمعظم الأسئلة لا يغير حالة الأحرف الإجابة، لكنها أحيانا تغيرها (معرف كود، "US" مقابل "us")، لذا استبعدها عندما تكون مطالباتك حساسة لحالة الأحرف.
import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key = hashlib.sha256(norm.encode()).hexdigest()التخزين المؤقت الدلالييذهب إلى أبعد من ذلك: فهو يعيد إجابة مخزنة عندما يعني الاستعلام الجديد أي نفس الشيء الذي يعنيه استعلام قديم، ويتم قياس ذلك بواسطة تشابه جيب التمامبين متجهات التضمين. إذا حصل أقرب متجه مخزن على درجة عند أو فوق حد معين (مثلاً 0.9)، فإنه يعتبر نجاحاً؛ وإلا فإنه يعتبر فشلاً وتقوم باستدعاء النموذج. في التطبيق الحقيقي تأتي المتجهات من نموذج تضمين؛ هنا نقوم بتمريرها مباشرة لتبقى المنطق حتمياً. الخطر هو النجاح الخاطئ: "كيف ألغي طلبي؟" و"كيف ألغي اشتراكي؟" يمكن أن يكونا قريبين جداً في مساحة التضمين ويحتاجان إلى إجابات مختلفة. اضبط الحد ليكون مرتفعاً، وقس النجاحات الخاطئة على حركة المرور الحقيقية قبل الوثوق بها، ولا تقم أبداً بالتخزين المؤقت الدلالي للإجابات التي تعتمد على هوية السائل.
cosine(a, b) = dot(a, b) / (norm(a) * norm(b))ابنِ ثلاثة أشياء. (1) صنف SemanticCache مع put(query_vec, answer) وget(query_vec) يُرجع الإجابة المخزّنة لأقرب إدخال عندما يكون تشابه cosine الخاص به >= self.threshold، وإلا None. (2) cache_key(prompt, **opts) التي تطبّع (أحرف صغيرة، دمج المسافات، فرز مفاتيح الخيارات) وتُرجع ملخص hashlib.sha256 سداسياً عشرياً، بحيث يُربط موجّهان مختلفان ظاهرياً بالمفتاح نفسه. (3) make_memoized(fn) -> كائن قابل للاستدعاء يستخدم cache_key لتخزين النتائج مؤقتاً ويكشف عدّادي .hits و.misses.
ابنِ (1) SemanticCache (عبارة عن threshold في __init__، بالإضافة إلى put(query_vec, answer) و get(query_vec) تعيد أقرب إجابة عندما يكون cosine similarity هو >= وإلا None)؛ (2) cache_key(prompt, **opts): قم بعملية normalise للـ prompt باستخدام re.sub(r"\s+", " ", prompt.strip().lower())، ثم قم بعملية hash لـ "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) باستخدام hashlib.sha256 وأعد الـ hex digest (المقارنة تقارن بالضبط مع هذه الوصفة)؛ (3) make_memoized(fn) تعيد callable مع .hits و .misses. يجب أن ينجح vector شبه متكرر، ويجب أن يفشل vector بعيد، ويجب أن يتشارك promptين بمسافات مختلفة مفتاحاً واحداً.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.