SimCLR: dos vistas de una foto
Por qué importa Ahora el método entero: vistas aleatorias más InfoNCE, repetido. Ninguna etiqueta en ningún momento. Lo que aprende depende casi por completo de una decisión que tomas tú: qué diferencias entre dos vistas se le dice que ignore.
Cada paso: coge un lote de fotos, haz dos vistas aleatorias de cada una con ssl.augment, codifica las dos, proyéctalas con una pequeña cabeza y minimiza InfoNCE. Los aumentos de datos definen la tarea: lo que difiere entre dos vistas de una foto (la posición del recorte, la imagen en espejo, el brillo, la saturación) es lo que la red aprende a ignorar. Lo que se mantiene igual (el objeto) es lo que aprende a conservar.
Las ejecuciones reales de SimCLR usan miles de pasos y lotes grandes. Aquí haces una corta en directo (anchura 8, lote 32, 80 pasos) para ver bajar la pérdida, y luego lees las ejecuciones largas grabadas del curso (anchura 32, 2500 pasos de 128).
Las ejecuciones grabadas incluyen dos variaciones de la misma receta: añadir a las vistas una rotación de tono aleatoria (el artículo de SimCLR vio que los cambios fuertes de color eran esenciales con sus fotos), y una temperatura más alta (0.5).
Dónde está hoy el campo SimCLR necesita muchos negativos (otras fotos del lote), así que entrena mejor con lotes muy grandes (el artículo usó 4,096). Métodos posteriores prescinden de los negativos: BYOL (2020) y DINO (2021) entrenan una red para que coincida con una copia de sí misma que se actualiza despacio, y MAE (2021) esconde tres cuartas partes de los trozos de una imagen y los reconstruye, la versión en imagen del rellena el hueco de este módulo. Para el texto existe la misma división: predicción enmascarada (BERT) y predicción del siguiente token (GPT).
Palabras y símbolos de esta lección
- predicción enmascarada
- esconder parte de la entrada y entrenar a la red para que la rellene
- vista
- una copia cambiada al azar de una imagen: recortada, volteada, más brillante, menos colorida
- aumento de datos
- el cambio aleatorio que crea una vista; decide lo que la red aprende a ignorar
- InfoNCE
- entropía cruzada sobre una pregunta que el propio lote plantea: ¿qué otra vista salió de la misma imagen?
- temperatura
- por lo que se dividen las similitudes antes del softmax; más pequeña hace más marcada la elección
- SimCLR
- entrenamiento autosupervisado con dos vistas de cada imagen e InfoNCE (Chen et al. 2020)
Ejecuta el preentrenamiento en directo y rellena live con la pérdida media de los 10 primeros y los 10 últimos pasos. Luego rellena report a partir de las ejecuciones grabadas: la exactitud de la sonda (objetos originales) para los píxeles en bruto, el codificador aleatorio, SimCLR, SimCLR con rotación de tono y el supervisado, más gap, cuánto se queda SimCLR por detrás del supervisado, como fracción (0.05 significa 5 puntos). Por último pon hue_helped a True o False.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.