سرفصل‌ها درس 192 از 250 · هوش مصنوعی مسئول: ایمنی، نظارت و تیم قرمز
هوش مصنوعی مسئول: ایمنی، نظارت و تیم قرمز

یک تعدیل‌کننده سمیت با یک باند پرهیز

صفحه‌های کلیدواژه حملات آشکار را شناسایی می‌کنند، اما نمی‌توانند لحن را تشخیص دهند. برای «آیا این پیام سمی است؟» به یک طبقه‌بند آموزش‌دیده نیاز دارید که الگوها را از نمونه‌های برچسب‌خورده یاد گرفته باشد. دقیقاً همین کاری است که یک نقطه پایانی میان‌گیری محتوا در پس‌صحنه انجام می‌دهد، و می‌توانید با scikit-learn در دوازده خط یک نمونه قابل‌قبول بسازید. نه GPU، نه رایانش ابری، نه مدل زبانی بزرگ.

این دستورالعمل، خط لوله اصلی طبقه‌بندی متن است:

  • TfidfVectorizer هر پیام را به برداری از اهمیت کلمات تبدیل می‌کند. کلمات رایج در تمام پیام‌ها وزن کمتری می‌گیرند؛ کلماتی که مختص یک پیام هستند وزن بیشتری می‌گیرند. این همان ایده «TF-IDF» است.
  • LogisticRegression برای هر کلمه یک وزن یاد می‌گیرد و احتمال سمی بودن پیام را خروجی می‌دهد. ما ثابت می‌کنیم random_state=0 تا تناسب آن قابل بازتولید باشد.

نکتهٔ کلیدی که آن را برای تولید آماده می‌کند، یک محدودهٔ خودداری است. یک طبقه‌ساز خام همیشه به یک برچسب متعهد می‌شود، حتی زمانی که تنها ۵۱٪ مطمئن باشد. در میانه‌روی این کار بی‌پروا است: یک تصمیم مرزی باید به انسان ارجاع داده شود، نه اینکه به‌طور خودکار اتخاذ شود. بنابراین به جای پذیرش قطعی مدل predict، شما احتمال آن را می‌خوانید و قاعدهٔ دوطرفهٔ خود را اعمال می‌کنید:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

شما روی یک مجموعه کوچک برچسب‌خورده آموزش می‌دهید، سپس یک دسته نگهداشته‌شده را طبق آن طبقه‌بندی می‌کنید "toxic", "clean"، یا "abstain" با استفاده از یک حد پایین و یک حد بالا. پیام‌های آشکارا توهین‌آمیز باید به‌عنوان سمی بازگردند، پیام‌های آشکارا دوستانه پاک باشند، و هر چیزی که مدل در مورد آن مطمئن نیست باید به جای حدس زدن، در حالت «امتناع» قرار گیرد. یک مجموعه آموزشی کوچک، احتمال‌ها را نزدیک به وسط نگه می‌دارد، بنابراین یک بازه باریک مانند (0.45, 0.55) در واقع این یک بازهٔ تنگ است که کلاس‌ها را از هم جدا می‌کند.

چرا از یک طبقه‌بندی‌کننده استفاده می‌شود و نه خود مدل زبان بزرگ (LLM)؟

مدل‌های میانجیگری میزبانی‌شده وجود دارند (مانند نقطه پایانی میانجیگری OpenAI، API Perspective و غیره)، و در تولید اغلب یکی از آن‌ها را فراخوانی می‌کنید. ما در اینجا به سه دلیل یک مدل محلی می‌سازیم: این مدل در این محیط sandbox آفلاین اجرا می‌شود، هر فراخوانی آن هیچ هزینه‌ای ندارد، و اجزای در حال حرکت را قابل مشاهده می‌کند: ویژگی‌ها، وزن یادگرفته‌شده برای هر کلمه، یک احتمال، و آستانه‌ای که توسط انسان تعیین شده است. این مفاهیم مستقیماً به هر سرویس میان‌گیری که بعداً به آن متصل می‌کنید منتقل می‌شوند.

نوبت شما

ساخت train_moderator(texts, labels) که با a مطابقت دارد Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) و آن را بازمی‌گرداند. سپس بنویسید classify(model, texts, low, high) که می‌خواند predict_proba برای کلاس سمی و یک لیست از "toxic" (proba >= high)، "clean" (proba <= low)، یا "abstain" (در فاصله بین آن‌ها). در نهایت set را تنظیم کنید preds = classify(model, HELD_OUT, 0.45, 0.55).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.