Kapsam Dışı Reddetme Bariyeri
A her zaman cevap veren bir RAG sistemi tehlikelidir. Destek botuna "Tokyo'da hava nasıl?" diye sor ve eğer yine de cevap verirse, artık belgelerine bağlı değildir, tahmin yürütüyordur. Çözüm bir refusal guardrail: promptu oluşturmadan önce, getirilen parçaların soruyla ne kadar iyi eşleştiğine bak. En iyi eşleşme zayıfsa, belgeler muhtemelen soruyu kapsamıyordur, bu yüzden doğru hamle halüsinasyon görmek yerine reddetmek ve devretmektir.
Eldeki sinyal en yüksek geri çağırma benzerliğidir. Bir threshold seç. Eğer en yüksek puanlı geri çağrılan chunk bunun altındaysa, reddet. Bu, geri çağırma ile üretim arasında duran basit ve ucuz bir kontroldür ve üretim aşamasındaki bir RAG sisteminin en değerli parçalarından biridir: "Bilmiyorum" demek ile kendinden emin yanlış bir cevap vermek arasındaki farktır.
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7Ne yapacağımız şey. should_refuse(query, contexts, threshold) yazın, burada contexts her biri sayısal bir "score" (getirme benzerliği) içeren sözlüklerden oluşan bir listedir. Dönüş:
Truecontextsboş olduğunda (hiçbir şey alınmadı -> dayanak noktası yok).Truebağlamlar arasındaki highest puanı kesin olarakthreshold. altındaysaFalseaksi takdirde (en az bir parça barajı geçer).
Sınır kasıtlı: eşiğe tam eşit olan bir skor cevap vermek için yeterlidir (reddetme için kesinlikle-küçüktür kullan). query'nin geçildiğini unutma çünkü gerçek bir sistem diğer sinyallerle de reddedebilir, ancak burada karar skorlara dayanıyor. Run tuşuna basarak alan içi ve alan dışı soruların farklı hükümler aldığını izle.
contexts boş olduğunda veya context dicts içindeki maksimum "score" değeri threshold değerinden kesinlikle küçük olduğunda True döndüren should_refuse(query, contexts, threshold) yaz. Diğer durumlarda False döndür. Eşik değerine tam eşit olan bir skor reddedilmemeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.