Temario Lección 129 de 250 · Ingeniería de prompts para ingenieros de IA
Ingeniería de prompts para ingenieros de IA

Autoconsistencia: muestrear, analizar, votar

Una sola muestra del modelo puede equivocarse por mala suerte. La autoconsistencia (self-consistency) toma varias muestras para la misma pregunta, saca una respuesta de cada una y las deja votar. La respuesta mayoritaria suele ser más fiable que cualquier ejecución sola. El muestreo es trabajo del modelo; analizar y votar es trabajo tuyo, y es totalmente determinista.

Construye dos funciones:

  • extract_answer(text) devuelve el ÚLTIMO entero mencionado en el texto (el número final del modelo después de razonar), o None si no hay ningún entero. Encuentra los enteros con una expresión regular sobre la cadena.
  • self_consistency(samples) recibe una lista de cadenas de muestras, saca una respuesta de cada una, descarta las que dieron None y devuelve el valor mayoritario con un Counter. Resuelve los empates a favor del valor más pequeño para que el resultado sea determinista.

Por ejemplo, con muestras que dan [4, 4, 5], la votación devuelve 4. Con [3, 5] (un empate 1-1), devuelve 3, el más pequeño. Las muestras que no se pueden analizar simplemente se ignoran:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

Que el desempate sea determinista importa: una evaluación que devuelve un ganador distinto en cada ejecución con votos empatados no se puede probar ni publicar. Pulsa Ejecutar para corregir.

Tu turno

Escribe extract_answer(text), que devuelve el último entero del texto (ten en cuenta un signo menos delante), o None si no hay ninguno. Escribe self_consistency(samples), que saca una respuesta de cada muestra, descarta los resultados None y devuelve el valor mayoritario con un Counter, resolviendo los empates a favor del valor más pequeño. Si no hay ninguna respuesta que se pueda analizar, devuelve None.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.