Conteúdo do curso Lição 129 de 250 · Engenharia de prompts para engenheiros de IA
Engenharia de prompts para engenheiros de IA

Self-consistency: amostrar, interpretar, votar

Uma única amostra do modelo pode estar errada por azar. A self-consistency pega várias amostras para a mesma pergunta, interpreta uma resposta de cada e deixa que elas votem. A resposta da maioria costuma ser mais confiável que qualquer execução isolada. Amostrar é trabalho do modelo; interpretar e votar é seu, e é totalmente determinístico.

Construa duas funções:

  • extract_answer(text) retorna o ÚLTIMO inteiro mencionado no texto (o número final do modelo depois do raciocínio), ou None se não houver inteiro. Encontre os inteiros com uma regex sobre a string.
  • self_consistency(samples) recebe uma lista de strings de amostras, extrai uma resposta de cada, descarta as que deram None e retorna o valor da maioria com um Counter. Desempate em favor do menor valor, para que o resultado seja determinístico.

Por exemplo, dadas amostras que dão [4, 4, 5], o voto retorna 4. Dado [3, 5] (um empate de 1 a 1), retorna 3, o menor. Amostras que não dá para interpretar são simplesmente ignoradas:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

O desempate determinístico importa: uma avaliação que retorna um vencedor diferente a cada execução em votos empatados não pode ser testada nem entregue. Clique em Run para avaliar.

Sua vez

Escreva extract_answer(text), que retorna o último inteiro do texto (trate um sinal de menos na frente), ou None se não houver. Escreva self_consistency(samples), que extrai uma resposta de cada amostra, descarta os resultados None e retorna o valor da maioria com um Counter, desempatando em favor do menor valor. Sem respostas interpretáveis, retorne None.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.