Programma Les 129 van 250 · Prompt Engineering voor AI Engineers
Prompt Engineering voor AI Engineers

Zelfconsistentie: Sample, Parse, Vote

Eén modelvoorbeeld kan door geluk fout zijn. Self-consistency neemt meerdere samples voor dezelfde vraag, haalt uit elk een antwoord, en laat ze vote. Het meerderheidsantwoord is meestal betrouwbaarder dan elke losse run. Het samplen is de taak van het model; het parseren en stemmen is van jou, en het is volledig deterministisch.

Bouw twee functies:

  • extract_answer(text) geeft het LAATSTE integer dat in de tekst wordt genoemd (het laatste getal van het model na het redeneren), of None als er geen integer is. Zoek integers met een regex over de string.
  • self_consistency(samples) neemt een lijst van voorbeeldstrings, haalt een antwoord uit elk, verwijdert degenen die geparseerd zijn naar None, en geeft de meerderheidswaarde terug via een Counter. Bij een gelijkspel kies je voor de smallest waarde zodat het resultaat deterministisch is.

Bijvoorbeeld, gegeven samples die parsen naar [4, 4, 5], geeft de vote 4 terug. Gegeven [3, 5] (een 1-1 gelijkspel), geeft het 3 terug, de kleinere. Onverwerkbare samples worden simpelweg genegeerd:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

Het deterministische tie-break is belangrijk: een eval die bij gelijke stemmen elke keer een andere winnaar teruggeeft is ontestbaar en niet schipbaar. Druk op Run om te beoordelen.

Jij bent aan de beurt

Schrijf extract_answer(text) die het laatste gehele getal in de tekst teruggeeft (behandel een leidend minteken), of None als er geen is. Schrijf self_consistency(samples) dat een antwoord uit elk sample extraheert, de None resultaten verwijdert, en de meerderheidswaarde met een Counter teruggeeft, waarbij gelijkheden naar de kleinste waarde worden afgehandeld. Zonder parsebare antwoorden, geef None terug.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.