Программа курса Урок 195 из 246 · Модуль 18: Обучение без меток
Модуль 18: Обучение без меток

Проверка признаков простым классификатором (линейные зонды)

Почему это важно Ближайшие соседи дали грубый ответ. Стандартная проверка выученных признаков - линейный зонд: заморозьте признаки, обучите поверх только линейный классификатор на нескольких метках и измерьте его на новых фото. Если объекты разделяет прямая линия, тяжёлую работу сделали признаки.

Зонд - это softmax-регрессия из модуля 3, на признаках вместо пикселей:

  1. Стандартизуйте каждый признак средним и разбросом обучающей выборки (и используйте те же числа на тестовой).
  2. Градиентный спуск по перекрёстной энтропии, все обучающие строки сразу: 1000 шагов, размер шага 0,5, затухание весов 0,001.
  3. Точность на тестовых фото.

Он намеренно слаб: линейная модель на 400 метках. В этом и смысл. Он не может выдумать хорошие признаки; он может только прочитать то, что признаки уже говорят.

Слова и символы этого урока
линейный зонд
линейный классификатор, обученный на замороженных признаках: проверка того, что признаки уже говорят
SimCLR
обучение без учителя с двумя видами каждой картинки и InfoNCE (Chen et al. 2020)
Твоя очередь

Напишите my_probe(F_train, y_train, F_test, y_test), как описано (веса и смещения начинаются с нуля). Затем заполните accuracy для случайного кодировщика (ssl.Encoder(32, seed=0)) и записанного кодировщика SimCLR своим зондом. Базовая линия на сырых пикселях (768 чисел на фото) вычислена за вас зондом курса, который делает ту же арифметику во float32 на быстром умножении матриц: ваша версия во float64 заняла бы в браузере полминуты на 768 входах.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.