Muestrear texto con temperatura
Por qué importa Todos los chatbots tienen un ajuste de "temperatura". Es una división, y cambia texto seguro y repetitivo por texto variado y más arriesgado.
Para elegir el siguiente carácter, un modelo convierte sus puntuaciones en probabilidades con softmax. Dividir antes las puntuaciones por una temperatura T cambia lo picuda que es esa distribución: una T por debajo de 1 la afila (la favorita gana más a menudo), una T por encima de 1 la aplana (las sorpresas se vuelven probables).
La entropía, menos la suma de p log p, mide lo repartida que está una distribución: 0 cuando una opción es segura, ln(n) cuando las n son igual de probables.
La vas a medir con un modelo grabado real: el GPT diminuto del curso entrenado con su propio texto de lecciones.
Palabras y símbolos de esta lección
- temperatura
- dividir las puntuaciones antes del softmax: por debajo de 1 más marcada, por encima de 1 más plana
- entropía
- lo repartida que está una distribución: 0 cuando hay certeza, ln(n) cuando las n opciones son iguales
Pon en my_order las temperaturas 0.5, 1.0 y 2.0 ordenadas de menor a mayor entropía (tu predicción). Luego escribe entropy_at(scores, T) para una fila de puntuaciones, y rellena measured con la entropía media de la distribución del siguiente carácter del modelo sobre los contextos dados, para cada temperatura.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.