Elige a tu pareja dentro del lote (InfoNCE)
Por qué importa Toda la señal de entrenamiento de SimCLR es una sola pérdida, y ya la conoces: es entropía cruzada, sobre una pregunta de opción múltiple que la red se plantea a sí misma.
Coge un lote de n fotos y haz dos vistas aleatorias de cada una (recortar, voltear, cambiar el brillo y el color). Eso da 2n vistas. Para cada vista, la pregunta es: ¿cuál de las otras 2n - 1 vistas salió de la misma foto? Exactamente una.
- Codifica cada vista en un vector corto z, y escala cada z a longitud 1.
- Similitud de dos vistas = su producto escalar (el coseno), dividido por una temperatura (aquí 0.2): las temperaturas pequeñas hacen más marcadas las puntuaciones.
- Una vista no puede elegirse a sí misma: su propia puntuación se pone a menos infinito.
- Entropía cruzada, con la pareja como respuesta correcta: la pareja de la vista i es i + n (y al revés).
Mira la escena: seis fotos, dos vistas de cada una, la cuadrícula de similitudes y la elección de cada fila.
Números diminutos
Dos fotos, así que cuatro vistas. Si las similitudes de la vista 0 con las vistas 1, 2, 3 son 0.1, 0.9, 0.2 (su pareja es la vista 2), divididas por 0.2 pasan a ser 0.5, 4.5, 1.0. Softmax da a la pareja 0.954, y la pérdida de la vista 0 es -log 0.954 = 0.047.
Palabras y símbolos de esta lección
- vista
- una copia cambiada al azar de una imagen: recortada, volteada, más brillante, menos colorida
- InfoNCE
- entropía cruzada sobre una pregunta que el propio lote plantea: ¿qué otra vista salió de la misma imagen?
- temperatura
- por lo que se dividen las similitudes antes del softmax; más pequeña hace más marcada la elección
- SimCLR
- entrenamiento autosupervisado con dos vistas de cada imagen e InfoNCE (Chen et al. 2020)
Escribe info_nce(z, temperature) en NumPy simple para z de forma (2n, d), que devuelva la pérdida media sobre las 2n filas. Luego calcula example: la pérdida del lote de cuatro vistas del código inicial.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.