Temario Lección 162 de 246 · Módulo 14: Clínica de ejecuciones II
Módulo 14: Clínica de ejecuciones II

Clínica: un buen modelo que escribe mal

Por qué importa Un modelo entrenado puede seguir produciendo basura si el código que lo rodea está mal. Estos fallos viven en el código de muestreo, no en los pesos, y hay quien vuelve a entrenar durante días antes de mirar ahí.

Todos los casos de abajo usan el mismo modelo grabado de anchura 64, que escribe un texto razonable con temperatura 0.8. Cada caso tiene un fallo en cómo se muestrea o se decodifica el texto:

  • too_cold: temperatura cerca de 0. El modelo siempre elige su carácter siguiente favorito y cae en un bucle.
  • too_hot: temperatura muy por encima de 1. La distribución se aplana hasta que los símbolos raros salen tan a menudo como las letras.
  • shifted_decode: los ids se vuelven a convertir en caracteres con el alfabeto corrido en uno, así que una muestra buena parece un código cifrado: cada espacio se convierte en "!".

Sondas: sample(c) muestra el texto; repeat_share(text) y space_share(text) lo miden.

Tu turno

Rellena diagnosis y fixes para los casos A, B y C. Después de tu arreglo, cada ajuste debe coincidir con el sano, y la muestra debe volver a leerse como texto.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.