Autoconsistencia: muestrear, analizar, votar
Una sola muestra del modelo puede equivocarse por mala suerte. La autoconsistencia (self-consistency) toma varias muestras para la misma pregunta, saca una respuesta de cada una y las deja votar. La respuesta mayoritaria suele ser más fiable que cualquier ejecución sola. El muestreo es trabajo del modelo; analizar y votar es trabajo tuyo, y es totalmente determinista.
Construye dos funciones:
extract_answer(text)devuelve el ÚLTIMO entero mencionado en el texto (el número final del modelo después de razonar), oNonesi no hay ningún entero. Encuentra los enteros con una expresión regular sobre la cadena.self_consistency(samples)recibe una lista de cadenas de muestras, saca una respuesta de cada una, descarta las que dieronNoney devuelve el valor mayoritario con unCounter. Resuelve los empates a favor del valor más pequeño para que el resultado sea determinista.
Por ejemplo, con muestras que dan [4, 4, 5], la votación devuelve 4. Con [3, 5] (un empate 1-1), devuelve 3, el más pequeño. Las muestras que no se pueden analizar simplemente se ignoran:
self_consistency(["... so 4", "answer 4", "I think 5"]) # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"]) # 9Que el desempate sea determinista importa: una evaluación que devuelve un ganador distinto en cada ejecución con votos empatados no se puede probar ni publicar. Pulsa Ejecutar para corregir.
Escribe extract_answer(text), que devuelve el último entero del texto (ten en cuenta un signo menos delante), o None si no hay ninguno. Escribe self_consistency(samples), que saca una respuesta de cada muestra, descarta los resultados None y devuelve el valor mayoritario con un Counter, resolviendo los empates a favor del valor más pequeño. Si no hay ninguna respuesta que se pueda analizar, devuelve None.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.