المنهج الدراسي الدرس 183 من 250 · تحويل نماذج اللغات الكبيرة إلى بيئة الإنتاج: التكلفة، والتخزين المؤقت، وحواجز الحماية
تحويل نماذج اللغات الكبيرة إلى بيئة الإنتاج: التكلفة، والتخزين المؤقت، وحواجز الحماية

حراس المخرجات وتجميع الآثار

رد

A غير موثوق حتى تتحقق منه. يغطي حارسان للمخرجات معظم الاحتياجات. يصر حارس allow-list على أن يكون المخرج واحدا من مجموعة معروفة بالضبط، وهذه هي الطريقة لجعل المصنف موثوقا: إذا كان من المفترض أن يجيب النموذج بـ positive، أو negative، أو neutral، فسيتم رفض أي شيء آخر. يقوم حارس deny-list بتمييز أي مخرج يحتوي على مصطلح محظور (سر مسرب، أو إهانة، أو اسم منافس) بغض النظر عن النص المحيط.

تحتاج أنظمة الإنتاج أيضاً إلى قابلية التتبع (traceability): تسجيل كل استدعاء بمُدخله ومخرجه وعدد رموزه وزمن استجابته وتكلفته، لكي تتمكن من الإجابة عن "كم كلّف هذا وكم كان بطيئاً؟" بعد وقوعه. تجمّع هذه السجلات في ملخص: التكلفة الإجمالية، و المئينات (percentiles) لزمن الاستجابة. زمن الاستجابة p95 (القيمة التي جاء 95% من الاستدعاءات تحتها) هو الرقم الذي يراقبه مهندسو المناوبة فعلاً، لأن المتوسطات تخفي الذيل البطيء.

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

قم ببناء أربع دوال. (1) validate_output(text, allowed_labels) -> True فقط إذا كان text.strip() في allowed_labels. (2) contains_banned(text, banned) -> True إذا ظهر أي مصطلح محظور في text دون مراعاة حالة الأحرف. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> dict يحتوي على تلك المفاتيح الخمسة بالضبط. (4) aggregate_traces(traces) -> قم ببناء pandas.DataFrame من trace dicts وأرجع dict يحتوي على n و total_cost (مقرب إلى 6 dp) و p50_latency و p95_latency المحسوبة باستخدام numpy.percentile.

دورك

قم ببناء validate_output(text, allowed_labels) (يكون True فقط عندما يكون text.strip() تسمية مسموحة)، وcontains_banned(text, banned) (يكون True عند ظهور أي مصطلح محظور، دون مراعاة حالة الأحرف)، وbuild_trace(input_text, output_text, tokens, latency_ms, cost) (قاموس يحتوي على تلك المفاتيح الخمسة)، وaggregate_traces(traces) (إطار بيانات pandas ملخص إلى {n, total_cost (round 6dp), p50_latency, p95_latency} عبر numpy.percentile). يجب أن تمر التسمية المسموحة بينما تمنع التسمية غير المسموحة، ويجب أن تعطي قائمتان مختلفتان من المحظورات أحكاما مختلفة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.