Temario Lección 131 de 246 · Módulo 11: Redes con memoria (RNN)
Módulo 11: Redes con memoria (RNN)

Muestrear texto con temperatura

Por qué importa Todos los chatbots tienen un ajuste de "temperatura". Es una división, y cambia texto seguro y repetitivo por texto variado y más arriesgado.

Para elegir el siguiente carácter, un modelo convierte sus puntuaciones en probabilidades con softmax. Dividir antes las puntuaciones por una temperatura T cambia lo picuda que es esa distribución: una T por debajo de 1 la afila (la favorita gana más a menudo), una T por encima de 1 la aplana (las sorpresas se vuelven probables).

La entropía, menos la suma de p log p, mide lo repartida que está una distribución: 0 cuando una opción es segura, ln(n) cuando las n son igual de probables.

La vas a medir con un modelo grabado real: el GPT diminuto del curso entrenado con su propio texto de lecciones.

Palabras y símbolos de esta lección
temperatura
dividir las puntuaciones antes del softmax: por debajo de 1 más marcada, por encima de 1 más plana
entropía
lo repartida que está una distribución: 0 cuando hay certeza, ln(n) cuando las n opciones son iguales
Tu turno

Pon en my_order las temperaturas 0.5, 1.0 y 2.0 ordenadas de menor a mayor entropía (tu predicción). Luego escribe entropy_at(scores, T) para una fila de puntuaciones, y rellena measured con la entropía media de la distribución del siguiente carácter del modelo sobre los contextos dados, para cada temperatura.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.