Programma Lezione 129 di 250 · Prompt engineering per ingegneri dell'IA
Prompt engineering per ingegneri dell'IA

Autoconsistenza: campiona, leggi, vota

Un solo campione del modello può essere sbagliato per caso. L'autoconsistenza (self-consistency) prende diversi campioni per la stessa domanda, estrae una risposta da ciascuno, e li lascia votare. La risposta di maggioranza di solito è più affidabile di qualsiasi singola esecuzione. Il campionamento è compito del modello; la lettura e il voto sono tuoi, e sono completamente deterministici.

Costruisci due funzioni:

  • extract_answer(text) restituisce l'ULTIMO intero citato nel testo (il numero finale del modello dopo il ragionamento), o None se non c'è nessun intero. Trova gli interi con una regex sulla stringa.
  • self_consistency(samples) riceve una lista di stringhe campione, estrae una risposta da ciascuna, scarta quelle che danno None, e restituisce il valore di maggioranza con un Counter. In caso di parità scegli il valore più piccolo così il risultato è deterministico.

Per esempio, con campioni che danno [4, 4, 5], il voto restituisce 4. Con [3, 5] (una parità 1 a 1), restituisce 3, il più piccolo. I campioni che non si riescono a leggere vengono semplicemente ignorati:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

Lo spareggio deterministico conta: una valutazione che restituisce un vincitore diverso a ogni esecuzione in caso di parità non si può testare né rilasciare. Premi Run per la correzione.

Tocca a te

Scrivi extract_answer(text) che restituisce l'ultimo intero del testo (gestisci un segno meno iniziale), o None se non ce ne sono. Scrivi self_consistency(samples) che estrae una risposta da ogni campione, scarta i risultati None, e restituisce il valore di maggioranza con un Counter, risolvendo le parità verso il valore più piccolo. Senza risposte leggibili, restituisci None.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.