Autoconsistenza: campiona, leggi, vota
Un solo campione del modello può essere sbagliato per caso. L'autoconsistenza (self-consistency) prende diversi campioni per la stessa domanda, estrae una risposta da ciascuno, e li lascia votare. La risposta di maggioranza di solito è più affidabile di qualsiasi singola esecuzione. Il campionamento è compito del modello; la lettura e il voto sono tuoi, e sono completamente deterministici.
Costruisci due funzioni:
extract_answer(text)restituisce l'ULTIMO intero citato nel testo (il numero finale del modello dopo il ragionamento), oNonese non c'è nessun intero. Trova gli interi con una regex sulla stringa.self_consistency(samples)riceve una lista di stringhe campione, estrae una risposta da ciascuna, scarta quelle che dannoNone, e restituisce il valore di maggioranza con unCounter. In caso di parità scegli il valore più piccolo così il risultato è deterministico.
Per esempio, con campioni che danno [4, 4, 5], il voto restituisce 4. Con [3, 5] (una parità 1 a 1), restituisce 3, il più piccolo. I campioni che non si riescono a leggere vengono semplicemente ignorati:
self_consistency(["... so 4", "answer 4", "I think 5"]) # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"]) # 9Lo spareggio deterministico conta: una valutazione che restituisce un vincitore diverso a ogni esecuzione in caso di parità non si può testare né rilasciare. Premi Run per la correzione.
Scrivi extract_answer(text) che restituisce l'ultimo intero del testo (gestisci un segno meno iniziale), o None se non ce ne sono. Scrivi self_consistency(samples) che estrae una risposta da ogni campione, scarta i risultati None, e restituisce il valore di maggioranza con un Counter, risolvendo le parità verso il valore più piccolo. Senza risposte leggibili, restituisci None.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.