Müfredat 250 dersinden 169. · LLM Değerlendirmeleri ve Testleri
LLM Değerlendirmeleri ve Testleri

LLM-as-Judge (Rubrik Oluşturma + Karar Ayrıştırma)

Tam eşleşme, F1 ve ROUGE'un hepsi karşılaştırılacak bir altın cevaba ihtiyaç duyar. Ama açık uçlu çıktılar için, "bu açıklama net miydi?", "üslup profesyonel miydi?", tek bir doğru dizgi yoktur. Sektörün üzerinde anlaştığı ölçeklenebilir cevap hakem olarak LLM'dir: ikinci bir modele cevabı artı bir değerlendirme ölçütünü verir ve her ölçütü puanlamasını istersin. İyi tanımlanmış bir ölçütte insan değerlendiricilerle çoğu zaman %80-90 uyum aralığına düşer, ama bu göreve göre çok değişir ve ince ya da düşmanca durumlarda keskin şekilde düşebilir, bu yüzden herhangi bir tek sayıyı bir yasa değil, göreve özgü olarak ele al. Yine de, onu periyodik olarak insan etiketlerine karşı yokladığın sürece, her gece binlerce çıktı üzerinde çalıştırmak için genellikle yeterince tutarlıdır.

İşte dürüst kısım, ve bu dersin notlanabilir olmasının nedeni. Hakemin asıl puanlaması bir model çağrısıdır, ve model çağrıları deterministik değildir, bu yüzden onları asla notlamayız. Senin tasarladığın ve notlandığın şey çağrının etrafındaki deterministik iskelettir: hakem istemini kurmak ve kararı ayrıştırıp geri çıkarmak. Üretimde ortadaki adım gerçek bir çağrıdır:

# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)

Bu kurstaki cihaz üzerindeki WebLLM tarayıcıda canlı olarak hakem rolünü oynayabilir, ama testler asla ona bağlı değildir. Kurduğun istemi ve yazdığın ayrıştırıcıyı kontrol ederler.

İstem hakemi sabitlemelidir: rolü belirt, değerlendirme ölçütlerini numaralı listele, cevabı göster, ve ayrıştırabilmen için makinenin okuyabileceği bir karar iste. Standart numara ölçüt başına sabit bir biçimde bir satır dayatmaktır, burada score: N/5:

You are a strict grader. Score the answer against the rubric.

RUBRIC:
1. Is it factually correct?
2. Is it concise?

ANSWER:
<the answer text>

For each rubric item, reply on its own line as 'score: N/5'.

Ayrıştırma o zaman her score: N/5 satırı için (büyük-küçük harf duyarsız) bir regex taramasıdır ve tam sayıları çıkarır. Toplama bir puan listesini bir ortalamaya ve bir geçme oranına çevirir: bir eşiğe eşit ya da üstündeki puanların oranı. Geçme oranı uyarı verdiğin şeydir; bir partideki tek bir kötü cevap gürültüdür, kayan bir geçme oranı bir gerilemedir.

Ne kurulacak.

  • build_judge_prompt(answer, rubric) -> her numaralı ölçüt maddesini, cevabı ve bir score: N/5 yönergesini içeren bir istem dizgisi.
  • parse_judge_scores(text) -> her score: N/5 satırından tam sayıların listesi, sırayla, büyük-küçük harf duyarsız.
  • aggregate(scores, threshold=3) -> {"mean", "pass_rate"} (ikisi de 4 basamağa round edilmiş); boş bir liste sıfırlar döndürür.

Bir hakem istemi kurmak, örnek bir kararı ayrıştırmak ve toplamak için Çalıştır'a bas.

Senin sıran

Her bir numaralı rubrik öğesini, cevap metnini ve her öğe için score: N/5 şeklinde yanıt verme talimatını içeren bir prompt dizisi döndüren build_judge_prompt(answer, rubric) yaz. Her bir score: N/5 satırındaki tam sayıların listesini sırasıyla (büyük/küçük harf duyarsız) döndüren parse_judge_scores(text) yaz. pass_rate değişkeninin threshold değerinden büyük veya eşit olan puanların oranı olduğu ve boş bir listenin sıfır döndürdüğü durumda {'mean', 'pass_rate'} değerini 4 basamağa yuvarlayarak döndüren aggregate(scores, threshold=3) yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.