Hakem olarak LLM: Değerlendirme Ölçütü + Karar Ayrıştırma
Tam eşleşme ve token F1, cevaplar açık uçlu olduğu anda çöker. "Bu destek talebini özetle"nin bin iyi cevabı ve tek bir altın dizgisi yoktur. Sektörün çözümü hakem olarak LLM: ikinci bir modelden cevabı bir değerlendirme ölçütüne karşı okumasını ve bir karar döndürmesini istersin. Ekipler sohbet botlarını, RAG cevaplarını ve ajan dökümlerini ölçekte tam olarak böyle notlar.
İşte mühendislik gerçeği, ve bir işe alım yöneticisinin yokladığı şey: hakem bir dil modelidir, bu yüzden cevabı dağınık serbest metindir. Bir çalıştırmada VERDICT: PASS, bir sonrakinde Final verdict - fail diyebilir, bazen önce bir paragraf gerekçeyle. Herhangi bir hakem düzeneğinin kırılgan kısmı istem değil, o metinden temiz, makinenin kullanabileceği bir sonuç çıkaran ayrıştırıcıdır. Bu yüzden bu derste hakem sahte (canlı model yok, ağ yok) ve sen onun etrafındaki iki deterministik parçayı kuruyorsun: değerlendirme ölçütü istemi ve karar ayrıştırıcısı.
Değerlendirme ölçütü istemini kur. build_rubric(criteria) bir ölçüt dizgileri listesi alır ve hakem için tek bir istem dizgisi döndürür. Şunları yapmalı:
- hakem görevi bilsin diye
Rubrickelimesini içermeli, - her ölçütü kendi satırında, 1'den numaralanmış olarak listelemeli (
1. accuracy,2. clarity, ...), - ve hakeme kesin çıktı sözleşmesini söyleyerek bitmeli: bir
VERDICT: PASSya daVERDICT: FAILsatırı ve birSCORE: <0-10>satırı. (Kendi ayrıştırıcının okuyacağı biçimi tanımlıyorsun.)
Ayrıştırıcıyı kur. parse_verdict(judge_text) hakemin ham cevabını tarar ve {"verdict": "PASS" or "FAIL", "score": int} döndürür. Gerçek hakem çıktısının sana dayattığı sağlamlık kuralları:
- Büyük-küçük harf duyarsız ol:
pass,PASSvePasshepsi PASS demektir. - Yalnızca etiketli bir karar sayılır:
VERDICT: PASS,verdict = fail,verdict - pass. Gerekçedeki çıplak bir "pass" bir karar değildir: "VERDICT: FAIL. The fix would make it pass." bir FAIL'dir, ve "this does not pass" asla PASS sayılmamalı. Hakem birkaç etiketli karar yazdığında (fikrini değiştirdiğinde), sonuncusu kazanır. - Bir puan 0'dan 10'a, değerlendirme ölçütünün istediği aralıkta bir tam sayı olmalı. Bunun dışındaki her şeyi yok say ("SCORE: 85" harika bir cevap değil, hakemin sözleşmeyi çiğnemesidir). Geçerli puanlardan sonuncusu kazanır.
- Geçerli hiçbir şey bulunmadığında güvenli bir varsayılan döndür: karar
"FAIL"ve puan0. Ayrıştırılamayan bir hakem cevabı asla sessizce geçti sayılmamalı.
Kararları re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) ile ve puanları re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I) ile bul, 0'dan 10'a kadar olan puanları tut, sonra her birinin sonuncusunu al. Yalnızca ayrıştırıcıyı ve değerlendirme ölçütünü notluyoruz; canlı hakem çağrısı bu derste düzyazıdır, testlerde asla çalıştırılmaz. Birkaç hakem cevabını ayrıştırmak için Çalıştır'a bas.
Bir LLM-as-judge düzeneğinin deterministik kısmını oluştur (hakem mocklanmıştır). Rubric içeren, her kriteri 1'den başlayarak kendi satırında numulayan ve VERDICT: PASS/FAIL + SCORE: <0-10> çıktı sözleşmesini belirten bir prompt dizisi döndüren build_rubric(criteria) yaz. Her birinin SONİNCİSİNİ alan, sadece etiketli hükümleri (VERDICT: PASS, verdict = fail, verdict - pass) ve sadece 0 ile 10 arasındaki puanları sayan, büyük/küçük harf duyarsız ve hiçbiri yoksa {"verdict": "FAIL", "score": 0} döndüren {"verdict": "PASS"|"FAIL", "score": int} döndüren parse_verdict(judge_text) yaz (puan SCORE: 7, score=7 veya Score 7 olarak yazılabilir).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.