Avaliando prompts (precisão em um conjunto de referência)
"O prompt novo parece melhor" não é uma resposta. Para saber, você mantém um conjunto de referência: entradas emparelhadas com as saídas corretas em que você confia. Você roda o prompt nas entradas, compara cada previsão com a resposta de referência e informa um número. Esse número é como você compara o prompt v1 com o v2 sem se enganar.
Você vai construir o pontuador. score_prediction(pred, gold) retorna 1.0 quando bate e 0.0 caso contrário, comparando sem diferenciar maiúsculas e minúsculas e ignorando espaços nas pontas, porque "Yes", "yes" e " yes " são a mesma resposta na prática.
evaluate(predictions, golds) percorre as duas listas lado a lado, pontua cada par e retorna um resumo:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}Arredonde accuracy para 4 casas. Deixe o conjunto vazio seguro: zero golds retorna {"accuracy": 0.0, "correct": 0, "total": 0} em vez de dividir por zero, porque conjuntos de avaliação são filtrados e você não quer que a estrutura quebre com um recorte vazio.
Um dos testes ocultos roda seu evaluate em 50 conjuntos de previsões/referências gerados aleatoriamente e compara com uma referência calculada no teste. Uma tabela fixa com os casos visíveis não sobrevive a isso, e esse é o ponto: você está construindo um pontuador de verdade, não decorando respostas. Clique em Run para avaliar.
Escreva score_prediction(pred, gold), que retorna 1.0 se os dois baterem ignorando maiúsculas, minúsculas e espaços nas pontas, senão 0.0. Escreva evaluate(predictions, golds), que retorna {"accuracy", "correct", "total"} sobre as listas emparelhadas, com accuracy arredondada para 4 casas e um conjunto vazio retornando tudo zero (sem quebrar).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.