Kurrikulum Leson 129 van 250 · Prompt Engineering vir KI-ingenieurs
Prompt Engineering vir KI-ingenieurs

Self-Konsistensie: Steekmonster, Parse, Stem

Een modelvoorbeeld kan per toeval verkeerd wees. Self-consistency neem verskeie voorbeelde vir dieselfde vraag, parseer 'n antwoord uit elk, en laat hulle vote. Die meerderheidsantwoord is gewoonlik meer betroubaar as enige enkele uitvoering. Die sampling is die model se werk; die parse-and-vote is joune, en dit is ten volle deterministies.

Bou twee funksies:

  • extract_answer(text) gee die LASTE heelgetal wat in die teks genoem word (die model se finale nommer na redenering), of None as daar geen heelgetal is nie. Vind heelgetalle met 'n regex oor die string.
  • self_consistency(samples) neem 'n lys van voorbeeldstrings, haal 'n antwoord uit elk een, verwyder diegene wat na None gepars het, en gee die meerderheidswaarde terug via 'n Counter. Breek gelykstellings ten gunste van die smallest waarde sodat die resultaat deterministies is.

Byvoorbeeld, as daar voorbeelde is wat parseer na [4, 4, 5], gee die stem 4 terug. As daar [3, 5] is ( 'n 1-1 gelykopunt), gee dit 3 terug, die kleiner een. Onparsebare voorbeelde word bloot geïgnoreer:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

Die deterministiese tie-breker is belangrik: 'n eval wat elke keer 'n ander wenner teruggee by gelyke stemme is ontestbaar en onversendbaar. Druk Run om te gradeer.

Jou beurt

Skryf extract_answer(text) wat die laaste heelgetal in die teks teruggee (hanteer 'n voorgaande min-teken), of None as daar geen is nie. Skryf self_consistency(samples) wat 'n antwoord uit elke voorbeeld ekstraheer, die None resultate weglaat, en die meerderheidswaarde met 'n Counter teruggee, waar gelykstellings na die kleinste waarde gebreek word. Met geen parseerbare antwoorde nie, gee None terug.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.