Escolha seu parceiro do lote (InfoNCE)
Por que isso importa Todo o sinal de treinamento do SimCLR é uma perda, e você já sabe qual é: é cross-entropy, em uma pergunta de múltipla escolha que a rede define para si mesma.
Pegue um lote de n fotos e crie duas visualizações aleatórias de cada (corte, inverta, mude o brilho e a cor). Isso gera 2n visualizações. Para cada visualização, a pergunta é: qual das outras 2n - 1 visualizações veio da mesma foto?Exatamente uma veio.
- Codifique cada visão para um vetor curto z, e escale cada z para comprimento 1.
- Similaridade de duas visões = o produto escalar delas (o cosseno), dividido por uma temperature (0.2 aqui): temperaturas baixas tornam as pontuações mais nítidas. A visão
- A pode não escolher a si mesma: sua própria pontuação é definida como menos infinito.
- Entropia cruzada, com a resposta correta sendo o parceiro: o parceiro de i é i + n (e o contrário).
Assista à cena: seis fotos, duas visualizações cada, a grade de similaridades e a escolha de cada linha.
Números pequenos
Duas fotos, então quatro visualizações. Se as similaridades da visualização 0 com as visualizações 1, 2, 3 são 0.1, 0.9, 0.2 (seu parceiro é a visualização 2), divididas por 0.2 elas se tornam 0.5, 4.5, 1.0. Softmax dá ao parceiro 0.954, e a perda da visualização 0 é -log 0.954 = 0.047.
Palavras e símbolos nesta lição
- view
- a cópia de uma imagem alterada aleatoriamente: cortada, invertida, mais brilhante, menos colorida
- InfoNCE
- cross-entropy em uma pergunta que o batch define: qual outra visão veio da mesma imagem?
- temperature
- quais similaridades são divididas antes do softmax; menor torna a escolha mais nítida
- SimCLR
- treinamento auto-supervisionado com duas visões de cada imagem e InfoNCE (Chen et al. 2020)
Escreva info_nce(z, temperature) em NumPy puro para z de shape (2n, d), retornando a média da loss sobre todas as 2n linhas. Depois calcule example: a loss para o batch de quatro vistas no starter.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.