Kurrikulum Leson 166 van 250 · LLM-evaluasies en toetsing
LLM-evaluasies en toetsing

Bevestigingsgebaseerde Evals (presiese ooreenstemming & bevat)

Jy het die prompt verander en die uitset voel beter. Daardie gevoel is nie 'n resultaat nie. Die werk van 'n eval is om dit te vervang met 'n getal wat jy in 'n pull request kan sit: hierdie prompt tel 0.86 op die gold set, die ou een het 0.74 getel. Voordat jy na iets fancy reik, is die workhorse eval die goedkoopste een: neem 'n gelabelde stel inputs met bekende korrekte antwoorde, hardloop jou stelsel, en tel hoeveel dit reg gekry het.

Die probleem is om te besluit wat "reg" beteken. 'n LLM gee byna nooit die goue string byte vir byte nie. Dit voeg 'n punt by, maak 'n woord hoofletter, of pak die antwoord in 'n sin. So kies jy 'n match mode:

  • exact -> die voorspelling is gelyk aan die goue antwoord nadat jy dit normaliseer (kleinletters, verwyder spasies rondom). Gebruik dit vir kort, geslote antwoorde: 'n etiket, 'n ja/nee, 'n stad.
  • bevat -> die goue antwoord verskyn somewaar binne die voorspelling. Gebruik dit wanneer die model toegelaat word om gesels: "The capital is Paris." moet steeds as korrek tel vir die goue paris.

Normalisering is belangrik. Sonder dit tel "Paris" en "paris" as 'n foute en jou eval lieg vir jou. Hier is die vorm van een vergelyking:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

Nauwkeurigheid is dan net die gemiddelde van daardie punte per voorbeeld. In 'n regte harness kom die predictions van 'n lewendige modeloproep; hier word jy gegradeer op die scoring wiskunde, wat die deel is wat presies reg moet wees. Twee meer kontroles is in elke veiligheidsbewuste harness: 'n allow-list (elke uitset moet een van 'n vaste stel etikette wees) en 'n forbidden-pattern skandering (geen uitset mag 'n verbode frase soos "as an AI" bevat nie).

Wat om te bou.

  • evaluate(predictions, gold, mode) -> die gemiddelde exact-or-contains-telling oor twee parallel lysse, rounded tot 4 plekke. 'n Leë lys gee 0.0 terug, nooit 'n crash nie. Gooi ValueError op 'n onbekende modus.
  • label_in_set(outputs, allowed) -> {"passed", "failed"} tel hoeveel gestripte uitsette in die allowed-stel is.
  • has_forbidden(text, patterns) -> True asook enige regex in patterns word in text.
  • gevind.

Druk Run om 'n goue stel onder beide modes te kry.

Jou beurt

Skryf evaluate(predictions, gold, mode) wat die gemiddelde telling oor twee parallel lysse teruggee, waar mode is 'exact' (genormaliseerde gelykheid) of 'contains' (goud verskyn binne die voorspelling). Normaliseer die akkuraatheid met strip().lower() en round tot 4 plekke, gee 0.0 terug op 'n leë stel, en gooi ValueError op 'n onbekende modus. Skryf ook label_in_set(outputs, allowed) -> {'passed', 'failed'} wat gestripte uitset teen die allowed stel tel, en has_forbidden(text, patterns) -> True as enige regex-patroon in text gevind word, ignoreer geval (so as an ai vang ook "As an AI" vas).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.