Программа курса Урок 196 из 246 · Модуль 18: Обучение без меток
Модуль 18: Обучение без меток

Найдите свою пару в батче (InfoNCE)

Почему это важно Весь обучающий сигнал SimCLR - одна функция потерь, и вы её уже знаете: это перекрёстная энтропия на вопросе с выбором ответа, который сеть ставит себе сама.

Возьмите батч из n фото и сделайте по два случайных вида каждого (обрезать, отразить, изменить яркость и цвет). Это даёт 2n видов. Для каждого вида вопрос такой: какой из остальных 2n - 1 видов получен из того же фото? Ровно один.

  1. Закодируйте каждый вид в короткий вектор z и масштабируйте каждый z до длины 1.
  2. Сходство двух видов = их скалярное произведение (косинус), делённое на температуру (здесь 0,2): маленькие температуры делают оценки резче.
  3. Вид не может выбрать сам себя: его собственная оценка заменяется минус бесконечностью.
  4. Перекрёстная энтропия, где правильный ответ - пара: пара вида i - это i + n (и наоборот).

Посмотрите сцену: шесть фото, по два вида каждого, сетка сходств и выбор каждой строки.

Маленькие числа

Два фото, значит четыре вида. Если сходства вида 0 с видами 1, 2, 3 равны 0,1, 0,9, 0,2 (его пара - вид 2), после деления на 0,2 они становятся 0,5, 4,5, 1,0. Softmax даёт паре 0,954, и потери вида 0 равны -log 0,954 = 0,047.

Слова и символы этого урока
вид
случайно изменённая копия картинки: обрезанная, отражённая, ярче, менее насыщенная
InfoNCE
перекрёстная энтропия на вопросе, который батч ставит сам себе: какой другой вид получен из той же картинки?
температура
то, на что делятся сходства перед softmax; меньшая делает выбор резче
SimCLR
обучение без учителя с двумя видами каждой картинки и InfoNCE (Chen et al. 2020)
Твоя очередь

Напишите info_nce(z, temperature) на чистом NumPy для z формы (2n, d), возвращающую средние потери по всем 2n строкам. Затем вычислите example: потери для батча из четырёх видов в стартовом коде.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.