Найдите свою пару в батче (InfoNCE)
Почему это важно Весь обучающий сигнал SimCLR - одна функция потерь, и вы её уже знаете: это перекрёстная энтропия на вопросе с выбором ответа, который сеть ставит себе сама.
Возьмите батч из n фото и сделайте по два случайных вида каждого (обрезать, отразить, изменить яркость и цвет). Это даёт 2n видов. Для каждого вида вопрос такой: какой из остальных 2n - 1 видов получен из того же фото? Ровно один.
- Закодируйте каждый вид в короткий вектор z и масштабируйте каждый z до длины 1.
- Сходство двух видов = их скалярное произведение (косинус), делённое на температуру (здесь 0,2): маленькие температуры делают оценки резче.
- Вид не может выбрать сам себя: его собственная оценка заменяется минус бесконечностью.
- Перекрёстная энтропия, где правильный ответ - пара: пара вида i - это i + n (и наоборот).
Посмотрите сцену: шесть фото, по два вида каждого, сетка сходств и выбор каждой строки.
Маленькие числа
Два фото, значит четыре вида. Если сходства вида 0 с видами 1, 2, 3 равны 0,1, 0,9, 0,2 (его пара - вид 2), после деления на 0,2 они становятся 0,5, 4,5, 1,0. Softmax даёт паре 0,954, и потери вида 0 равны -log 0,954 = 0,047.
Слова и символы этого урока
- вид
- случайно изменённая копия картинки: обрезанная, отражённая, ярче, менее насыщенная
- InfoNCE
- перекрёстная энтропия на вопросе, который батч ставит сам себе: какой другой вид получен из той же картинки?
- температура
- то, на что делятся сходства перед softmax; меньшая делает выбор резче
- SimCLR
- обучение без учителя с двумя видами каждой картинки и InfoNCE (Chen et al. 2020)
Напишите info_nce(z, temperature) на чистом NumPy для z формы (2n, d), возвращающую средние потери по всем 2n строкам. Затем вычислите example: потери для батча из четырёх видов в стартовом коде.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.