Temario Lección 126 de 246 · Módulo 11: Redes con memoria (RNN)
Módulo 11: Redes con memoria (RNN)

Una RNN de caracteres

Por qué importa Predecir el siguiente carácter a partir de los anteriores es el modelo de lenguaje original. La misma idea, a gran escala, es un chatbot.

Dale el propio texto de las lecciones del curso, un carácter cada vez. En cada paso la RNN actualiza su estado y predice el siguiente carácter con una capa lineal y softmax. La pérdida es la media de la entropía cruzada sobre las 16 posiciones de cada fragmento de entrenamiento.

Cada carácter entra como un embedding: una fila de números aprendida que se busca por el índice del carácter (el Módulo 12 los explica bien; por ahora, una tabla de búsqueda que la red entrena).

Predice la curva con el gráfico: adivina la pérdida en el paso 0 y tras 200 pasos. Adivinar de forma uniforme entre todos los caracteres del texto da más o menos ln(V).

Palabras y símbolos de esta lección
red recurrente (RNN)
una red que lee un paso cada vez y lleva hacia delante un estado oculto
entropía
lo repartida que está una distribución: 0 cuando hay certeza, ln(n) cuando las n opciones son iguales
Tu turno

Rellena my_guess. Luego escribe step_state(x_ids, h, P) con el motor de la casa: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). El bucle de entrenamiento de alrededor ya está escrito. Tras 200 pasos la pérdida media de los últimos 20 pasos debe estar por debajo de 2.6.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.