Conteúdo do curso Lição 130 de 250 · Engenharia de prompts para engenheiros de IA
Engenharia de prompts para engenheiros de IA

Avaliando prompts (precisão em um conjunto de referência)

"O prompt novo parece melhor" não é uma resposta. Para saber, você mantém um conjunto de referência: entradas emparelhadas com as saídas corretas em que você confia. Você roda o prompt nas entradas, compara cada previsão com a resposta de referência e informa um número. Esse número é como você compara o prompt v1 com o v2 sem se enganar.

Você vai construir o pontuador. score_prediction(pred, gold) retorna 1.0 quando bate e 0.0 caso contrário, comparando sem diferenciar maiúsculas e minúsculas e ignorando espaços nas pontas, porque "Yes", "yes" e " yes " são a mesma resposta na prática.

evaluate(predictions, golds) percorre as duas listas lado a lado, pontua cada par e retorna um resumo:

evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}

Arredonde accuracy para 4 casas. Deixe o conjunto vazio seguro: zero golds retorna {"accuracy": 0.0, "correct": 0, "total": 0} em vez de dividir por zero, porque conjuntos de avaliação são filtrados e você não quer que a estrutura quebre com um recorte vazio.

Um dos testes ocultos roda seu evaluate em 50 conjuntos de previsões/referências gerados aleatoriamente e compara com uma referência calculada no teste. Uma tabela fixa com os casos visíveis não sobrevive a isso, e esse é o ponto: você está construindo um pontuador de verdade, não decorando respostas. Clique em Run para avaliar.

Sua vez

Escreva score_prediction(pred, gold), que retorna 1.0 se os dois baterem ignorando maiúsculas, minúsculas e espaços nas pontas, senão 0.0. Escreva evaluate(predictions, golds), que retorna {"accuracy", "correct", "total"} sobre as listas emparelhadas, com accuracy arredondada para 4 casas e um conjunto vazio retornando tudo zero (sem quebrar).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.