Conteúdo do curso Lição 196 de 246 · Módulo 18: Aprendizado sem rótulos
Módulo 18: Aprendizado sem rótulos

Escolha seu parceiro do lote (InfoNCE)

Por que isso importa Todo o sinal de treinamento do SimCLR é uma perda, e você já sabe qual é: é cross-entropy, em uma pergunta de múltipla escolha que a rede define para si mesma.

Pegue um lote de n fotos e crie duas visualizações aleatórias de cada (corte, inverta, mude o brilho e a cor). Isso gera 2n visualizações. Para cada visualização, a pergunta é: qual das outras 2n - 1 visualizações veio da mesma foto?Exatamente uma veio.

  1. Codifique cada visão para um vetor curto z, e escale cada z para comprimento 1.
  2. Similaridade de duas visões = o produto escalar delas (o cosseno), dividido por uma temperature (0.2 aqui): temperaturas baixas tornam as pontuações mais nítidas.
  3. A visão
  4. A pode não escolher a si mesma: sua própria pontuação é definida como menos infinito.
  5. Entropia cruzada, com a resposta correta sendo o parceiro: o parceiro de i é i + n (e o contrário).

Assista à cena: seis fotos, duas visualizações cada, a grade de similaridades e a escolha de cada linha.

Números pequenos

Duas fotos, então quatro visualizações. Se as similaridades da visualização 0 com as visualizações 1, 2, 3 são 0.1, 0.9, 0.2 (seu parceiro é a visualização 2), divididas por 0.2 elas se tornam 0.5, 4.5, 1.0. Softmax dá ao parceiro 0.954, e a perda da visualização 0 é -log 0.954 = 0.047.

Palavras e símbolos nesta lição
view
a cópia de uma imagem alterada aleatoriamente: cortada, invertida, mais brilhante, menos colorida
InfoNCE
cross-entropy em uma pergunta que o batch define: qual outra visão veio da mesma imagem?
temperature
quais similaridades são divididas antes do softmax; menor torna a escolha mais nítida
SimCLR
treinamento auto-supervisionado com duas visões de cada imagem e InfoNCE (Chen et al. 2020)
Sua vez

Escreva info_nce(z, temperature) em NumPy puro para z de shape (2n, d), retornando a média da loss sobre todas as 2n linhas. Depois calcule example: a loss para o batch de quatro vistas no starter.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.