Self-consistency: amostrar, interpretar, votar
Uma única amostra do modelo pode estar errada por azar. A self-consistency pega várias amostras para a mesma pergunta, interpreta uma resposta de cada e deixa que elas votem. A resposta da maioria costuma ser mais confiável que qualquer execução isolada. Amostrar é trabalho do modelo; interpretar e votar é seu, e é totalmente determinístico.
Construa duas funções:
extract_answer(text)retorna o ÚLTIMO inteiro mencionado no texto (o número final do modelo depois do raciocínio), ouNonese não houver inteiro. Encontre os inteiros com uma regex sobre a string.self_consistency(samples)recebe uma lista de strings de amostras, extrai uma resposta de cada, descarta as que deramNonee retorna o valor da maioria com umCounter. Desempate em favor do menor valor, para que o resultado seja determinístico.
Por exemplo, dadas amostras que dão [4, 4, 5], o voto retorna 4. Dado [3, 5] (um empate de 1 a 1), retorna 3, o menor. Amostras que não dá para interpretar são simplesmente ignoradas:
self_consistency(["... so 4", "answer 4", "I think 5"]) # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"]) # 9O desempate determinístico importa: uma avaliação que retorna um vencedor diferente a cada execução em votos empatados não pode ser testada nem entregue. Clique em Run para avaliar.
Escreva extract_answer(text), que retorna o último inteiro do texto (trate um sinal de menos na frente), ou None se não houver. Escreva self_consistency(samples), que extrai uma resposta de cada amostra, descarta os resultados None e retorna o valor da maioria com um Counter, desempatando em favor do menor valor. Sem respostas interpretáveis, retorne None.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.