Zelfconsistentie: Sample, Parse, Vote
Eén modelvoorbeeld kan door geluk fout zijn. Self-consistency neemt meerdere samples voor dezelfde vraag, haalt uit elk een antwoord, en laat ze vote. Het meerderheidsantwoord is meestal betrouwbaarder dan elke losse run. Het samplen is de taak van het model; het parseren en stemmen is van jou, en het is volledig deterministisch.
Bouw twee functies:
extract_answer(text)geeft het LAATSTE integer dat in de tekst wordt genoemd (het laatste getal van het model na het redeneren), ofNoneals er geen integer is. Zoek integers met een regex over de string.self_consistency(samples)neemt een lijst van voorbeeldstrings, haalt een antwoord uit elk, verwijdert degenen die geparseerd zijn naarNone, en geeft de meerderheidswaarde terug via eenCounter. Bij een gelijkspel kies je voor de smallest waarde zodat het resultaat deterministisch is.
Bijvoorbeeld, gegeven samples die parsen naar [4, 4, 5], geeft de vote 4 terug. Gegeven [3, 5] (een 1-1 gelijkspel), geeft het 3 terug, de kleinere. Onverwerkbare samples worden simpelweg genegeerd:
self_consistency(["... so 4", "answer 4", "I think 5"]) # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"]) # 9Het deterministische tie-break is belangrijk: een eval die bij gelijke stemmen elke keer een andere winnaar teruggeeft is ontestbaar en niet schipbaar. Druk op Run om te beoordelen.
Schrijf extract_answer(text) die het laatste gehele getal in de tekst teruggeeft (behandel een leidend minteken), of None als er geen is. Schrijf self_consistency(samples) dat een antwoord uit elk sample extraheert, de None resultaten verwijdert, en de meerderheidswaarde met een Counter teruggeeft, waarbij gelijkheden naar de kleinste waarde worden afgehandeld. Zonder parsebare antwoorden, geef None terug.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.