Conteúdo do curso Lição 198 de 246 · Módulo 18: Aprendizado sem rótulos
Módulo 18: Aprendizado sem rótulos

Combinando legendas com imagens (a ideia do CLIP) (Opcional)

Por que isso importa A busca de texto para imagem, e a parte de "entendimento" dos geradores de imagem, começam com um truque: treinar um encoder de imagem e um encoder de texto para que uma imagem e sua legenda fiquem próximas. É InfoNCE novamente, através de dois tipos de dados. Esta lição é opcional: não é necessária para o certificado.

Cada foto aqui vem com uma legenda real, escrita de como ela foi gerada: "um anel verde à esquerda". O lado da imagem é o encoder SimCLR congelado mais uma camada treinável para 16 números. O lado do texto é um saco de palavras (um número por palavra: está na legenda?) vezes uma camada treinável para 16 números.

A perda é simétrica: para um lote de n pares, cada imagem deve escolher sua legenda entre as n legendas, e cada legenda sua imagem entre as n imagens. Duas cross-entropies sobre a mesma grade de similaridade n x n, uma ao longo das linhas e outra ao longo das colunas.

O teste pede mais do que "imagem certa primeiro": a imagem com melhor correspondência tem pelo menos a cor da legenda? O objeto? O lado?

Palavras e símbolos nesta lição
InfoNCE
cross-entropy em uma pergunta que o batch define: qual outra visão veio da mesma imagem?
temperature
quais similaridades são divididas antes do softmax; menor torna a escolha mais nítida
SimCLR
treinamento auto-supervisionado com duas visões de cada imagem e InfoNCE (Chen et al. 2020)
Sua vez

Escreva pair_loss(a, b, temperature) (engine tensors de shape (n, 16): normalize ambos com ssl.normalize (cada linha para comprimento 1, como na lição InfoNCE), similaridades divididas pela temperatura, cross-entropy ao longo das linhas mais cross-entropy ao longo das colunas) e treine 600 steps de 128 pares na temperatura 0.1. Passe com a imagem correta primeiro para pelo menos 5% das test captions (chance 0.5%).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.