Temario Lección 198 de 246 · Módulo 18: Aprender sin etiquetas
Módulo 18: Aprender sin etiquetas

Emparejar textos con imágenes (la idea de CLIP) (Opcional)

Por qué importa La búsqueda de imágenes por texto, y la parte de "entender" de los generadores de imágenes, parten de un solo truco: entrenar un codificador de imágenes y uno de texto para que una imagen y su descripción caigan cerca. Es InfoNCE otra vez, entre dos tipos de datos. Esta lección es opcional: no hace falta para el certificado.

Cada foto de aquí viene con una descripción verdadera, escrita a partir de cómo se generó: "a green ring on the left". El lado de la imagen es el codificador SimCLR congelado más una capa entrenable a 16 números. El lado del texto es una bolsa de palabras (un número por palabra: ¿está en la descripción?) por una capa entrenable a 16 números.

La pérdida es simétrica: para un lote de n parejas, cada imagen debe elegir su descripción entre las n descripciones, y cada descripción su imagen entre las n imágenes. Dos entropías cruzadas sobre la misma cuadrícula de similitudes de n x n, una a lo largo de las filas y otra a lo largo de las columnas.

La prueba pide algo más que "la imagen correcta primero": ¿la imagen que mejor coincide tiene al menos el color de la descripción? ¿Su objeto? ¿Su lado?

Palabras y símbolos de esta lección
InfoNCE
entropía cruzada sobre una pregunta que el propio lote plantea: ¿qué otra vista salió de la misma imagen?
temperatura
por lo que se dividen las similitudes antes del softmax; más pequeña hace más marcada la elección
SimCLR
entrenamiento autosupervisado con dos vistas de cada imagen e InfoNCE (Chen et al. 2020)
Tu turno

Escribe pair_loss(a, b, temperature) (tensores del motor de forma (n, 16): normaliza los dos con ssl.normalize (cada fila a longitud 1, como en la lección de InfoNCE), similitudes divididas por la temperatura, entropía cruzada a lo largo de las filas más entropía cruzada a lo largo de las columnas) y entrena 600 pasos de 128 parejas con temperatura 0.1. Apruebas con la imagen correcta primero para al menos el 5% de las descripciones de prueba (al azar, 0.5%).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.