سرفصل‌ها درس 198 از 250 · ML در اطراف LLM
ML در اطراف LLM

آستانه‌گذاری اعتماد و امتناع

یک طبقه‌ریز همیشه پاسخی را بازمی‌گرداند، حتی وقتی هیچ ایده‌ای ندارد. تابع نرم‌ماکس باید جمعاً برابر با ۱ باشد، بنابراین مدلی که واقعاً سردرگم است همچنان برچسب برتر را به شما می‌دهد، فقط با احتمال کم. در تولید این خطرناک است: گمراه‌کردن بی‌صدا یک مشتری بدتر از اعتراف به عدم اطمینان است.

راه حل، یک آستانه اطمینان همراه با گزینه خودداری است. شما احتمال برچسب برتر را بررسی می‌کنید؛ اگر از آستانه عبور کند، بر اساس آن اقدام می‌کنید و اگر نه، یک ویژه را بازمی‌گردانید "abstain" حکم ویژه‌ای که درخواست را به یک انسان (یا به مدلی گران‌تر ارجاع می‌دهد). این همان دروازه واگذاری به انسان است که هر سیستم جدی LLM دارد.

probs  = [0.80, 0.12, 0.08]      # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"

probs  = [0.40, 0.35, 0.25]      # model is unsure
# top prob 0.40 <  0.6 -> return "abstain"

این آستانه یک تنظیم‌کننده است که از روی داده‌ها آن را تنظیم می‌کنید: آن را افزایش دهید تا بیشتر اوقات از تصمیم‌گیری خودداری کنید (ایمن‌تر، شبیه کار انسان)؛ آن را کاهش دهید تا بیشتر اوقات اقدام کنید (ارزان‌تر، پرخطرتر). خودِ مقدار مرزی نیز اهمیت دارد -> تصمیم بگیرید که آیا احتمالی که دقیقاً برابر با آستانه است، به عنوان یک نتیجه مطمئن محسوب می‌شود یا خیر. در اینجا، >= آستانه به معنای اطمینان‌بخش بودن است (مقدار مرزی را عبور می‌کند).

احتمال‌ها از کجا می‌آیند؟ معمولاً model.predict_proba(...) از طبقه‌بندی‌کننده‌ای که قبلاً ساخته‌اید، یا از امتیازات کسینوس هر پروتوتایپ که در یک توزیع نرمال‌سازی شده‌اند. در هر صورت، منطق دروازه‌بانی همان تابع کوچک است و این تابع خالص و Deterministic (مقرر) است -> دقیقاً از همان نوع حفاظی است که می‌توانید واحدآزمایی (unit-test) کنید.

یک تابع بسازید. classify_with_threshold(probs, labels, threshold): برچسب با بالاترین احتمال را پیدا کنید؛ اگر آن احتمال باشد >= threshold برچسب را بازگردانید، در غیر این صورت رشته را بازگردانید "abstain". probs و labels این‌ها لیست‌های هم‌راستا هستند. دکمه Run را فشار دهید تا ببینید یک مورد مطمئن با موفقیت عبور می‌کند و یک مورد نامطمئن از رأی‌گیری انصراف می‌دهد.

نوبت شما

نوشتن classify_with_threshold(probs, labels, threshold) کجا probs و labels فهرست‌های هم‌راستا هستند. برچسبی را بازگردانید که احتمال آن بیشترین است، اما تنها در صورتی که آن احتمال باشد >= threshold؛ در غیر این صورت رشته را بازگردانید "abstain". احتمال دقیقاً برابر با آستانه را مطمئن در نظر بگیرید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.