سرفصل‌ها درس 225 از 250 · پروژه: دروازه هوش مصنوعی تولید
پروژه: دروازه هوش مصنوعی تولید

طبقه‌بندی‌کننده نیت با امتناع

به ساخت پروژه پایانی خود خوش آمدید. در طول چهار درس، لایه‌ای را که بین کاربران و مدل قرار دارد، عرضه می‌کنید: یک دروازهٔ هوش مصنوعی که مشخص می‌کند یک درخواست چه می‌خواهد، آن را به دست‌پردازندهٔ مناسب هدایت می‌کند، پاسخ‌ها را در حافظهٔ پنهان ذخیره می‌کند، در برابر سوءاستفاده محافظت می‌کند و حساب هر دلار را نگه می‌دارد. این همان زیرساخت غیرجذاب است که یک دمو هوشمند را به چیزی تبدیل می‌کند که یک شرکت واقعاً می‌تواند آن را اجرا کند، و دقیقاً همان چیزی است که یک مدیر استخدام منظور دارد وقتی در رزومه نوشته شده «ساخت یک دروازه هوش مصنوعی: طبقه‌بندی، مسیریابی، کش، کنترل‌کننده، حساب هزینه.»

یک نکته صادقانه درباره دامنه: شما در حال ساخت لایهٔ کاربرد هستید. منطق از یک گیت‌وی (طبقه‌بندی، مسیریابی، حافظه پنهان معنایی، گاردریل، حساب هزینه). گیت‌وی‌ای که واقعاً در محیط تولید اجرا می‌کنید همچنین به یک سرویس در حال اجرا برای میزبانی آن، احراز هویت، محدودسازی نرخ توزیع‌شده واقعی و یک استقرار نیاز دارد که فراتر از این پروژهٔ نهایی درون‌مروری است.

اولین ایستگاه: درِ ورودی. هر درخواستی که می‌رسد یک تودهٔ متن است، و قبل از اینکه بتوانید کاری هوشمندانه با آن انجام دهید باید بدانید آن چیست. آیا این یک سؤال هواشناسی است؟ یک مشکل حساب کاربری؟ یک شکایت صورتحساب؟ شما یک خواهید ساخت طبقه‌بندی‌کننده قصد که از تعداد اندکی مثال برچسب‌خورده یاد می‌گیرد و هر درخواست جدید را برچسب‌گذاری می‌کند. نکتهٔ اصلی که یک اسباب‌بازی را از یک طبقه‌بند واقعی متمایز می‌کند این است: باید بداند چه زمانی این کار را انجام می‌دهد. نه بداند. مدلی که با اطمینان متنی بی‌معنی را برچسب‌گذاری می‌کند، در مراحل بعدی بدتر از بی‌فایده است، بنابراین مدل شما خودداری و بازگشت "unknown" وقتی که مطمئن نیست.

شما دو تابع خواهید نوشت:

  • train_intent(texts, labels) -> مناسب کردن TfidfVectorizer برای تبدیل متون به بردارها، سپس یک LogisticRegression(random_state=0) در بالا. هر بسته‌ای را بازگردانید (یک dict هم مناسب است). classify نیاز به انجام پیش‌بینی‌ها دارد. مدل را بذرگذاری کنید تا همه نتایج یکسانی دریافت کنند.
  • classify(model, text) -> بازگشت a (label, confidence) تُپل. احتمال‌های کلاس را با predict_proba، اولی را بردار، و اگر اطمینان آن کمتر از آستانه‌ای باشد (حدوداً 0.5)، بازگشت ("unknown", confidence) به جای آن

ترفند شناسایی ورودی‌های واقعاً خارج از توزیع ارزان و مقاوم است. وقتی TfidfVectorizer.transform متن را با می‌بیند هیچ‌کدام از واژگان آموزشی، سطر حاصل همه صفر است (آن .nnz است ۰). این سیگنال شماست که مدل هیچ سرنخی ندارد، پس فوراً خودداری کنید:

X = vec.transform([text])
if X.nnz == 0:
    return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)

یک نکتهٔ دنیای واقعی دربارهٔ مدل: در مجموعه‌های آموزشی بسیار کوچک، تنظیم پیش‌فرض regularization باعث می‌شود هر احتمال نزدیک به حدس و گمان بماند، بنابراین پرسش‌های معتبر هرگز از آستانه عبور نمی‌کنند. شل کردن regularization با C=10.0 (و بالا بردن max_iter پس همگرا می‌شود) مدل را به‌اندازه‌ای تیز می‌کند که پارافرازهای واقعی با اطمینان امتیاز بگیرند، در حالی که زباله‌ها همچنان از امتیاز گرفتن خودداری می‌کنند. فشار دویدن روی چند سؤال پشتیبانی برچسب‌خورده تمرین کنید و تماشا کنید که جملات بازنویسی‌شده طبقه‌بندی می‌شوند، در حالی که مزخرفات کنار می‌روند.

نوبت شما

train_intent(texts, labels) را با استفاده از TfidfVectorizer + LogisticRegression(random_state=0) بنویسید (با C=10.0 شل کنید و max_iter را بالا ببرید تا داده‌های کوچک همگرا شوند)، و هر بسته‌ای را که classify نیاز دارد بازگردانید. سپس classify(model, text) را بنویسید که (label, confidence) را بازمی‌گرداند: کلاس بالای predict_proba را انتخاب کنید، از ("unknown", conf) زیر آستانه‌ی ~0.5 صرف‌نظر کنید و بلافاصله وقتی سطر تبدیل‌شده همه‌چیز صفر است (X.nnz == 0)، از برچسب‌گذاری خودداری کنید تا ورودی خارج از توزیع یا خالی برچسب‌گذاری نشود.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.