Silabus Pelajaran 198 dari 250 · ML di Sekitar LLM
ML di Sekitar LLM

Ambang Batas Kepercayaan & Abstain

A classifier always selalu memberikan jawaban, bahkan saat dia tidak tahu apa-apa. Softmax harus berjumlah 1, jadi model yang benar-benar bingung tetap memberikan label teratas -> hanya dengan probabilitas rendah di baliknya. Dalam produksi itu berbahaya: salah mengarahkan pelanggan secara diam-diam lebih buruk daripada mengakui bahwa kamu tidak yakin.

Perbaikannya adalah confidence threshold dengan opsi abstain. Kamu melihat probabilitas label teratas; jika melewati ambang batas kamu mengambil tindakan, dan jika tidak kamu mengembalikan "abstain" verdict khusus yang menyerahkan permintaan ke manusia (atau meningkatkan ke model yang lebih mahal). Ini adalah gerbang human-handoff yang dimiliki setiap sistem LLM serius.

probs  = [0.80, 0.12, 0.08]      # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"

probs  = [0.40, 0.35, 0.25]      # model is unsure
# top prob 0.40 <  0.6 -> return "abstain"

Ambang batas adalah tombol yang kamu atur dari data: naikkan dan kamu akan lebih sering menahan diri (lebih aman, lebih banyak kerja manusia); turunkan dan kamu akan lebih sering bertindak (lebih murah, lebih berisiko). Batas itu sendiri penting -> putuskan apakah probabilitas yang tepat sama dengan ambang batas dihitung sebagai yakin. Di sini kita menggunakan >= threshold berarti yakin (nilai batas lolos).

Dari mana probabilitasnya berasal? Biasanya model.predict_proba(...) dari classifier yang kamu buat sebelumnya, atau skor cosine per-prototype yang dinormalisasi menjadi distribusi. Apa pun caranya, logika gating adalah fungsi kecil yang sama, dan itu murni serta deterministik -> jenis guardrail yang bisa kamu unit-test.

Buat satu fungsi. classify_with_threshold(probs, labels, threshold): cari label dengan probabilitas tertinggi; jika probabilitas itu >= threshold kembalikan labelnya, jika tidak kembalikan string "abstain". probs dan labels adalah daftar yang sejajar. Tekan Run untuk melihat kasus yakin yang lolos dan yang tidak yakin yang abstain.

Giliranku

Tulis classify_with_threshold(probs, labels, threshold) di mana probs dan labels adalah list yang sejajar. Kembalikan label yang probabilitasnya tertinggi, tapi hanya jika probabilitas itu adalah >= threshold; jika tidak, kembalikan string "abstain". Anggap probabilitas yang tepat sama dengan ambang batas sebagai yakin.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.