Combinando legendas com imagens (a ideia do CLIP) (Opcional)
Por que isso importa A busca de texto para imagem, e a parte de "entendimento" dos geradores de imagem, começam com um truque: treinar um encoder de imagem e um encoder de texto para que uma imagem e sua legenda fiquem próximas. É InfoNCE novamente, através de dois tipos de dados. Esta lição é opcional: não é necessária para o certificado.
Cada foto aqui vem com uma legenda real, escrita de como ela foi gerada: "um anel verde à esquerda". O lado da imagem é o encoder SimCLR congelado mais uma camada treinável para 16 números. O lado do texto é um saco de palavras (um número por palavra: está na legenda?) vezes uma camada treinável para 16 números.
A perda é simétrica: para um lote de n pares, cada imagem deve escolher sua legenda entre as n legendas, e cada legenda sua imagem entre as n imagens. Duas cross-entropies sobre a mesma grade de similaridade n x n, uma ao longo das linhas e outra ao longo das colunas.
O teste pede mais do que "imagem certa primeiro": a imagem com melhor correspondência tem pelo menos a cor da legenda? O objeto? O lado?
Palavras e símbolos nesta lição
- InfoNCE
- cross-entropy em uma pergunta que o batch define: qual outra visão veio da mesma imagem?
- temperature
- quais similaridades são divididas antes do softmax; menor torna a escolha mais nítida
- SimCLR
- treinamento auto-supervisionado com duas visões de cada imagem e InfoNCE (Chen et al. 2020)
Escreva pair_loss(a, b, temperature) (engine tensors de shape (n, 16): normalize ambos com ssl.normalize (cada linha para comprimento 1, como na lição InfoNCE), similaridades divididas pela temperatura, cross-entropy ao longo das linhas mais cross-entropy ao longo das colunas) e treine 600 steps de 128 pares na temperatura 0.1. Passe com a imagem correta primeiro para pelo menos 5% das test captions (chance 0.5%).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.