Una RNN de caracteres
Por qué importa Predecir el siguiente carácter a partir de los anteriores es el modelo de lenguaje original. La misma idea, a gran escala, es un chatbot.
Dale el propio texto de las lecciones del curso, un carácter cada vez. En cada paso la RNN actualiza su estado y predice el siguiente carácter con una capa lineal y softmax. La pérdida es la media de la entropía cruzada sobre las 16 posiciones de cada fragmento de entrenamiento.
Cada carácter entra como un embedding: una fila de números aprendida que se busca por el índice del carácter (el Módulo 12 los explica bien; por ahora, una tabla de búsqueda que la red entrena).
Predice la curva con el gráfico: adivina la pérdida en el paso 0 y tras 200 pasos. Adivinar de forma uniforme entre todos los caracteres del texto da más o menos ln(V).
Palabras y símbolos de esta lección
- red recurrente (RNN)
- una red que lee un paso cada vez y lleva hacia delante un estado oculto
- entropía
- lo repartida que está una distribución: 0 cuando hay certeza, ln(n) cuando las n opciones son iguales
Rellena my_guess. Luego escribe step_state(x_ids, h, P) con el motor de la casa: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). El bucle de entrenamiento de alrededor ya está escrito. Tras 200 pasos la pérdida media de los últimos 20 pasos debe estar por debajo de 2.6.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.