Conteúdo do curso Lição 197 de 246 · Módulo 18: Aprendizado sem rótulos
Módulo 18: Aprendizado sem rótulos

SimCLR: duas visões de uma foto

Por que isso importa Agora o método inteiro: vistas aleatórias mais InfoNCE, repetido. Nenhum rótulo em momento algum. O que ele aprende depende quase inteiramente de uma escolha sua: quais diferenças entre duas vistas ele é instruído a ignorar.

A cada passo: pegue um batch de fotos, faça duas vistas aleatórias de cada uma com ssl.augment, codifique as duas, projete-as com uma pequena cabeça e minimize a InfoNCE. As augmentations definem a tarefa: o que for diferente entre duas vistas da mesma foto (posição do recorte, imagem espelhada, brilho, saturação) é o que a rede aprende a ignorar. O que continua igual (o objeto) é o que ela aprende a manter.

Execuções reais de SimCLR usam milhares de passos e batches grandes. Aqui você roda uma curta ao vivo (largura 8, batch 32, 80 passos) para ver a perda cair e depois lê as execuções longas gravadas do curso (largura 32, 2500 passos de 128).

As execuções gravadas incluem duas variações da mesma receita: acrescentar uma rotação de matiz aleatória às vistas (o artigo do SimCLR achou mudanças fortes de cor essenciais nas fotos dele) e uma temperatura mais alta (0.5).

Onde o campo está agora O SimCLR precisa de muitos negativos (outras fotos no batch), então treina melhor com batches muito grandes (o artigo usou 4,096). Métodos posteriores dispensam os negativos: o BYOL (2020) e o DINO (2021) treinam uma rede para se igualar a uma cópia dela mesma atualizada devagar, e o MAE (2021) esconde três quartos dos pedaços de uma imagem e os reconstrói, a versão em imagem do preencher-a-lacuna deste módulo. Para texto, existe a mesma divisão: previsão mascarada (BERT) e previsão do próximo token (GPT).

Palavras e símbolos nesta lição
previsão mascarada
esconder parte da entrada e treinar a rede para preenchê-la
vista
uma cópia de uma imagem alterada ao acaso: recortada, espelhada, mais clara, menos colorida
augmentation
a mudança aleatória que cria uma vista; ela decide o que a rede aprende a ignorar
InfoNCE
cross-entropy em uma pergunta que o próprio batch faz: qual outra vista veio da mesma imagem?
temperatura
o valor pelo qual as similaridades são divididas antes da softmax; menor deixa a escolha mais nítida
SimCLR
treino autossupervisionado com duas vistas de cada imagem e InfoNCE (Chen et al. 2020)
Sua vez

Execute o pretreinamento ao vivo e preencha live com a perda média sobre os primeiros 10 e os últimos 10 steps. Depois preencha report a partir das execuções registradas: a acurácia da sonda (objetos originais) para pixels brutos, o encoder aleatório, SimCLR, SimCLR com rotação de matiz e supervisionado, além de gap, o quanto SimCLR está atrás do supervisionado, como uma fração (0.05 significa 5 pontos). Finalmente defina hue_helped como True ou False.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.