Testando recursos com um classificador simples (linear probes)
Por que isso importa Vizinhos mais próximos deram uma resposta aproximada. O teste padrão de características aprendidas é uma linear probe: congele as características, treine apenas um classificador linear por cima com alguns rótulos e meça em fotos novas. Se uma linha reta puder separar os objetos, as características fizeram o trabalho difícil.
A sonda é a regressão softmax do Módulo 3, em características em vez de pixels:
- Padronize cada feature com a média e o desvio do conjunto de treinamento (e use os mesmos números no conjunto de teste).
- Descida de gradiente em cross-entropy, todas as linhas de treinamento de uma vez: 1000 passos, tamanho do passo 0.5, weight decay 0.001.
- Acurácia nas fotos de teste.
Ele é deliberadamente fraco: um modelo linear com 400 labels. Esse é o ponto. Ele não pode inventar boas features; ele só pode ler o que as features já dizem.
Palavras e símbolos nesta lição
- linear probe
- a classificador linear treinado em features congeladas: um teste do que as features já dizem
- SimCLR
- treinamento auto-supervisionado com duas visões de cada imagem e InfoNCE (Chen et al. 2020)
Escreva my_probe(F_train, y_train, F_test, y_test) como descrito (pesos e vieses começam em zero). Depois preencha accuracy para um encoder aleatório (ssl.Encoder(32, seed=0)) e o encoder SimCLR gravado com seu probe. A baseline de pixel bruto (768 números por foto) é calculada para você com o probe do curso, que faz a mesma aritmética em float32 na multiplicação de matriz rápida: sua versão float64 levaria meia minuto em 768 entradas no navegador.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.