SimCLR: duas visões de uma foto
Por que isso importa Agora o método inteiro: vistas aleatórias mais InfoNCE, repetido. Nenhum rótulo em momento algum. O que ele aprende depende quase inteiramente de uma escolha sua: quais diferenças entre duas vistas ele é instruído a ignorar.
A cada passo: pegue um batch de fotos, faça duas vistas aleatórias de cada uma com ssl.augment, codifique as duas, projete-as com uma pequena cabeça e minimize a InfoNCE. As augmentations definem a tarefa: o que for diferente entre duas vistas da mesma foto (posição do recorte, imagem espelhada, brilho, saturação) é o que a rede aprende a ignorar. O que continua igual (o objeto) é o que ela aprende a manter.
Execuções reais de SimCLR usam milhares de passos e batches grandes. Aqui você roda uma curta ao vivo (largura 8, batch 32, 80 passos) para ver a perda cair e depois lê as execuções longas gravadas do curso (largura 32, 2500 passos de 128).
As execuções gravadas incluem duas variações da mesma receita: acrescentar uma rotação de matiz aleatória às vistas (o artigo do SimCLR achou mudanças fortes de cor essenciais nas fotos dele) e uma temperatura mais alta (0.5).
Onde o campo está agora O SimCLR precisa de muitos negativos (outras fotos no batch), então treina melhor com batches muito grandes (o artigo usou 4,096). Métodos posteriores dispensam os negativos: o BYOL (2020) e o DINO (2021) treinam uma rede para se igualar a uma cópia dela mesma atualizada devagar, e o MAE (2021) esconde três quartos dos pedaços de uma imagem e os reconstrói, a versão em imagem do preencher-a-lacuna deste módulo. Para texto, existe a mesma divisão: previsão mascarada (BERT) e previsão do próximo token (GPT).
Palavras e símbolos nesta lição
- previsão mascarada
- esconder parte da entrada e treinar a rede para preenchê-la
- vista
- uma cópia de uma imagem alterada ao acaso: recortada, espelhada, mais clara, menos colorida
- augmentation
- a mudança aleatória que cria uma vista; ela decide o que a rede aprende a ignorar
- InfoNCE
- cross-entropy em uma pergunta que o próprio batch faz: qual outra vista veio da mesma imagem?
- temperatura
- o valor pelo qual as similaridades são divididas antes da softmax; menor deixa a escolha mais nítida
- SimCLR
- treino autossupervisionado com duas vistas de cada imagem e InfoNCE (Chen et al. 2020)
Execute o pretreinamento ao vivo e preencha live com a perda média sobre os primeiros 10 e os últimos 10 steps. Depois preencha report a partir das execuções registradas: a acurácia da sonda (objetos originais) para pixels brutos, o encoder aleatório, SimCLR, SimCLR com rotação de matiz e supervisionado, além de gap, o quanto SimCLR está atrás do supervisionado, como uma fração (0.05 significa 5 pontos). Finalmente defina hue_helped como True ou False.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.