Проверка признаков простым классификатором (линейные зонды)
Почему это важно Ближайшие соседи дали грубый ответ. Стандартная проверка выученных признаков - линейный зонд: заморозьте признаки, обучите поверх только линейный классификатор на нескольких метках и измерьте его на новых фото. Если объекты разделяет прямая линия, тяжёлую работу сделали признаки.
Зонд - это softmax-регрессия из модуля 3, на признаках вместо пикселей:
- Стандартизуйте каждый признак средним и разбросом обучающей выборки (и используйте те же числа на тестовой).
- Градиентный спуск по перекрёстной энтропии, все обучающие строки сразу: 1000 шагов, размер шага 0,5, затухание весов 0,001.
- Точность на тестовых фото.
Он намеренно слаб: линейная модель на 400 метках. В этом и смысл. Он не может выдумать хорошие признаки; он может только прочитать то, что признаки уже говорят.
Слова и символы этого урока
- линейный зонд
- линейный классификатор, обученный на замороженных признаках: проверка того, что признаки уже говорят
- SimCLR
- обучение без учителя с двумя видами каждой картинки и InfoNCE (Chen et al. 2020)
Напишите my_probe(F_train, y_train, F_test, y_test), как описано (веса и смещения начинаются с нуля). Затем заполните accuracy для случайного кодировщика (ssl.Encoder(32, seed=0)) и записанного кодировщика SimCLR своим зондом. Базовая линия на сырых пикселях (768 чисел на фото) вычислена за вас зондом курса, который делает ту же арифметику во float32 на быстром умножении матриц: ваша версия во float64 заняла бы в браузере полминуты на 768 входах.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.