Dropout, construido
Por qué importa El dropout es una forma sencilla de evitar que una red se apoye demasiado en una sola unidad, y lo verás dentro de muchos modelos.
Durante el entrenamiento, el dropout apaga cada unidad al azar con probabilidad p (por ejemplo 0.5) en cada paso. La red no puede depender de ninguna unidad concreta, porque podría no estar en el siguiente paso, así que reparte lo que sabe entre muchas.
Mantener bien la media
Si se apaga la mitad de las unidades, la capa siguiente recibe más o menos la mitad de señal. El dropout invertido moderno lo arregla durante el entrenamiento: las unidades que sobreviven se multiplican por 1 / (1 - p), aquí 2. En la evaluación el dropout no hace nada en absoluto, y la señal media coincide con la del entrenamiento. (El artículo original de 2014 escalaba en cambio en la evaluación; el resultado es el mismo, pero el dropout invertido deja intacto el código de evaluación.)
Tasa de dropout p: la probabilidad de apagar una unidad durante el entrenamiento.
Palabras y símbolos de esta lección
- dropout (p)
- apagar unidades al azar con probabilidad p durante el entrenamiento
Escribe dropout(h, p, training, rng): en el entrenamiento, pon a cero cada entrada con probabilidad p y escala las supervivientes por 1 / (1 - p); si no, devuelve h sin cambios. Usa rng.random(h.shape) >= p como máscara de las que se quedan.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.