Conteúdo do curso Lição 195 de 246 · Módulo 18: Aprendizado sem rótulos
Módulo 18: Aprendizado sem rótulos

Testando recursos com um classificador simples (linear probes)

Por que isso importa Vizinhos mais próximos deram uma resposta aproximada. O teste padrão de características aprendidas é uma linear probe: congele as características, treine apenas um classificador linear por cima com alguns rótulos e meça em fotos novas. Se uma linha reta puder separar os objetos, as características fizeram o trabalho difícil.

A sonda é a regressão softmax do Módulo 3, em características em vez de pixels:

  1. Padronize cada feature com a média e o desvio do conjunto de treinamento (e use os mesmos números no conjunto de teste).
  2. Descida de gradiente em cross-entropy, todas as linhas de treinamento de uma vez: 1000 passos, tamanho do passo 0.5, weight decay 0.001.
  3. Acurácia nas fotos de teste.

Ele é deliberadamente fraco: um modelo linear com 400 labels. Esse é o ponto. Ele não pode inventar boas features; ele só pode ler o que as features já dizem.

Palavras e símbolos nesta lição
linear probe
a classificador linear treinado em features congeladas: um teste do que as features já dizem
SimCLR
treinamento auto-supervisionado com duas visões de cada imagem e InfoNCE (Chen et al. 2020)
Sua vez

Escreva my_probe(F_train, y_train, F_test, y_test) como descrito (pesos e vieses começam em zero). Depois preencha accuracy para um encoder aleatório (ssl.Encoder(32, seed=0)) e o encoder SimCLR gravado com seu probe. A baseline de pixel bruto (768 números por foto) é calculada para você com o probe do curso, que faz a mesma aritmética em float32 na multiplicação de matriz rápida: sua versão float64 levaria meia minuto em 768 entradas no navegador.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.