المنهج الدراسي الدرس 225 من 250 · المشروع: Production AI Gateway
المشروع: Production AI Gateway

مصنف النوايا مع خيار الامتناع

مرحباً بك في مشروع التخرج الخاص بك. عبر أربعة دروس، ستقوم بإرسال الطبقة التي تقع بين المستخدمين والنموذج: بوابة AI gateway التي تصنف ما يريده الطلب، وتوجهه إلى المعالج المناسب، وتخزن الإجابات مؤقتاً، وتحمي من سوء الاستخدام، وتحسب كل دولار. هذه هي البنية التحتية غير البراقة التي تحول العرض التوضيحي الذكي إلى شيء يمكن للشركة تشغيله بالفعل، وهذا هو بالضبط ما يقصده مدير التوظيف عندما يقرأ سطر في السيرة الذاتية يقول "built an AI gateway: classify, route, cache, guardrail, cost-account."

ملاحظة صادقة حول النطاق: أنت تبني logic طبقة التطبيق لبوابة (classify، route، semantic-cache، guardrail، cost-account). البوابة التي ستشغلها فعليا في الإنتاج تحتاج أيضا إلى خدمة قيد التشغيل لاستضافتها، وتوثيق الهوية، وتحديد معدل الطلبات الموزع الحقيقي، ونشر، وهي أمور خارج نطاق هذا المشروع النهائي في المتصفح.

المحطة الأولى: الباب الأمامي. كل طلب يصل هو كتلة من النص، وقبل أن تتمكن من القيام بأي شيء ذكي به، عليك أن تعرف ما هو. هل هذا سؤال عن الطقس؟ مشكلة في الحساب؟ شكوى بشأن الفواتير؟ ستقوم ببناء intent classifier يتعلم من حفنة من الأمثلة المصنفة ويضع علامة على كل طلب جديد. الفارق الذي يميز نموذجاً بسيطاً عن مصنف حقيقي هو أنه يجب أن يعرف متى لا يعرف. النموذج الذي يصنف كلاماً غير مفهوم بثقة هو أسوأ من عدم الفائدة في المراحل اللاحقة، لذا فإن نموذجك سوف يمتنع ويعيد "unknown" عندما لا يكون متأكداً.

ستكتب دالتين:

  • train_intent(texts, labels) -> قم بتدريب TfidfVectorizer لتحويل النصوص إلى ناقلات، ثم LogisticRegression(random_state=0) فوقها. أرجع أي حزمة (قاموس dict مناسب) يحتاجه classify لعمل التنبؤات. قم بتثبيت بذور النموذج لضمان حصول الجميع على نتائج متطابقة.
  • classify(model, text) -> أعد (label, confidence). احصل على احتمالات الفئات باستخدام predict_proba، وخذ الأعلى منها، وإذا كانت ثقتها أقل من حد معين (حوالي 0.5)، أعد ("unknown", confidence) بدلا من ذلك.

الحيلة لالتقاط مدخلات خارج التوزيع تماما هي رخيصة وقوية. عندما يرى TfidfVectorizer.transform نصا يحتوي على none من مفردات التدريب، يكون الصف الناتج كله أصفارا (قيمة .nnz هي 0). هذه هي إشارتك بأن النموذج ليس لديه ما يعتمد عليه، لذا امتنع فورا:

X = vec.transform([text])
if X.nnz == 0:
    return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)

ملاحظة واقعية واحدة حول النموذج: في مجموعات التدريب الصغيرة، تجعل عملية regularization الافتراضية كل احتمالية تحوم بالقرب من الصدفة، لذا لا تتجاوز الأسئلة المشروعة العتبة أبدا. إن تخفيف regularization باستخدام C=10.0 (وتعديل max_iter لكي يتقارب) يجعل النموذج حادا بما يكفي بحيث تحصل إعادة الصياغة الحقيقية على درجات بثقة بينما يمتنع الهراء عن ذلك. اضغط Run للتدريب على عدد قليل من أسئلة الدعم المصنفة وشاهد إعادة الصياغة يتم تصنيفها بينما يتراجع الهراء.

دورك

اكتب train_intent(texts, labels) باستخدام TfidfVectorizer + LogisticRegression(random_state=0) (خفف باستخدام C=10.0 وارفع max_iter حتى تتقارب البيانات الصغيرة)، مع إرجاع أي حزمة تحتاجها classify. ثم اكتب classify(model, text) مع إرجاع (label, confidence): خذ فئة predict_proba العليا، امتنع عن ("unknown", conf) تحت عتبة ~0.5، وامتنع فوراً عندما يكون الصف المحول كله أصفاراً (X.nnz == 0) حتى لا يمكن تصنيف البيانات الخارجة عن التوزيع أو المدخلات الفارغة.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.