Программа курса Урок 197 из 246 · Модуль 18: Обучение без меток
Модуль 18: Обучение без меток

SimCLR: два вида одного фото

Почему это важно Теперь весь метод: случайные виды плюс InfoNCE, снова и снова. Никаких меток ни на одном шаге. То, что он выучит, почти целиком зависит от одного вашего выбора: какие различия между двумя видами ему велено игнорировать.

Каждый шаг: возьмите батч фото, сделайте по два случайных вида каждого через ssl.augment, закодируйте оба, спроецируйте их небольшой головой и минимизируйте InfoNCE. Аугментации задают задачу: всё, что различается между двумя видами одного фото (положение обрезки, зеркальное отражение, яркость, насыщенность), сеть учится игнорировать. Всё, что остаётся прежним (объект), она учится сохранять.

Настоящие прогоны SimCLR используют тысячи шагов и большие батчи. Здесь вы запускаете короткий вживую (ширина 8, батч 32, 80 шагов), чтобы посмотреть, как падают потери, а затем читаете записанные длинные прогоны курса (ширина 32, 2500 шагов по 128).

Записанные прогоны включают две вариации того же рецепта: добавление к видам случайного поворота оттенка (статья SimCLR нашла сильные изменения цвета необходимыми на своих фото) и более высокую температуру (0,5).

Где сейчас эта область SimCLR нужно много негативов (других фото в батче), поэтому он лучше всего обучается на очень больших батчах (в статье использовали 4 096). Более поздние методы отказываются от негативов: BYOL (2020) и DINO (2021) обучают сеть совпадать с медленно обновляемой копией самой себя, а MAE (2021) скрывает три четверти фрагментов изображения и восстанавливает их, это версия для картинок того "заполните пропуск", что в этом модуле. Для текста существует то же разделение: маскированное предсказание (BERT) и предсказание следующего токена (GPT).

Слова и символы этого урока
маскированное предсказание
скрыть часть входа и обучить сеть её заполнять
вид
случайно изменённая копия картинки: обрезанная, отражённая, ярче, менее насыщенная
аугментация
случайное изменение, создающее вид; оно решает, что сеть научится игнорировать
InfoNCE
перекрёстная энтропия на вопросе, который батч ставит сам себе: какой другой вид получен из той же картинки?
температура
то, на что делятся сходства перед softmax; меньшая делает выбор резче
SimCLR
обучение без учителя с двумя видами каждой картинки и InfoNCE (Chen et al. 2020)
Твоя очередь

Запустите живое предобучение и заполните live средними потерями за первые 10 и последние 10 шагов. Затем заполните report по записанным прогонам: точность зонда (исходные объекты) для сырых пикселей, случайного кодировщика, SimCLR, SimCLR с поворотом оттенка и обучения с учителем, плюс gap - насколько SimCLR отстаёт от обучения с учителем, долей (0,05 значит 5 пунктов). Наконец, присвойте hue_helped значение True или False.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.