Lehrplan Lektion 129 von 250 · Prompt Engineering für KI Ingenieure
Prompt Engineering für KI Ingenieure

Selbstkonsistenz: Beispiel, Parsen, Abstimmen

Ein Modellbeispiel kann durch Glück falsch sein. Self-consistency nimmt mehrere Proben für dieselbe Frage, parst eine Antwort aus jeder heraus und lässt sie vote. Die Mehrheitsantwort ist meist zuverlässiger als jeder einzelne Durchlauf. Das Sampling ist die Aufgabe des Modells; das Parsen und Abstimmen ist deine Aufgabe, und es ist vollkommen deterministisch.

Erstelle zwei Funktionen:

  • extract_answer(text) gibt die LETZTE Ganzzahl zurück, die im Text erwähnt wird (die finale Zahl des Modells nach dem Schlussfolgern), oder None, wenn keine Ganzzahl vorhanden ist. Finde Ganzzahlen mit einem Regex über den String.
  • self_consistency(samples) nimmt eine Liste von Beispielstrings, extrahiert aus jedem eine Antwort, verwirft diejenigen, die zu None geparst wurden, und gibt den Mehrheitswert über eine Counter zurück. Breche Gleichstände zugunsten des smallest Wertes auf, damit das Ergebnis deterministisch ist.

Zum Beispiel gibt bei Proben, die zu [4, 4, 5] parsed werden, die vote 4 zurück. Bei [3, 5] (ein Unentschieden von 1-1) gibt sie 3 zurück, den kleineren. Nicht parsebare Proben werden einfach ignoriert:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

Der deterministische Tie-Break ist wichtig: eine eval, die bei Gleichstand bei den Stimmen jedes Mal einen anderen Sieger zurückgibt, ist nicht testbar und nicht versandfähig. Drücke Run, um zu bewerten.

Du bist dran

Schreibe extract_answer(text), das die letzte Ganzzahl im Text zurückgibt (behandle ein fühfendes Minuszeichen), oder None, wenn keine vorhanden ist. Schreibe self_consistency(samples), das eine Antwort aus jeder Probe extrahiert, die None Ergebnisse verwirft und den Mehrheitswert mit einem Counter zurückgibt, wobei Gleichstände zum kleinsten Wert aufgelöst werden. Wenn keine analysierbaren Antworten vorhanden sind, gib None zurück.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.