Сопоставление подписей с картинками (идея CLIP) (по желанию)
Почему это важно Поиск картинок по тексту и "понимающая" часть генераторов изображений начинаются с одного трюка: обучить кодировщик картинок и кодировщик текста так, чтобы картинка и её подпись оказывались рядом. Это снова InfoNCE, через два вида данных. Этот урок необязательный: для сертификата он не нужен.
Каждое фото здесь идёт с правдивой подписью, написанной по тому, как оно было сгенерировано: "a green ring on the left". Сторона картинок - замороженный кодировщик SimCLR плюс один обучаемый слой до 16 чисел. Сторона текста - мешок слов (одно число на слово: есть ли оно в подписи?), умноженный на один обучаемый слой до 16 чисел.
Функция потерь симметрична: для батча из n пар каждая картинка должна выбрать свою подпись из n подписей, а каждая подпись - свою картинку из n картинок. Две перекрёстные энтропии по одной сетке сходств n × n, одна вдоль строк и одна вдоль столбцов.
Тест спрашивает больше, чем "правильная картинка первой": есть ли у лучше всего совпавшей картинки хотя бы цвет из подписи? Её объект? Её сторона?
Слова и символы этого урока
- InfoNCE
- перекрёстная энтропия на вопросе, который батч ставит сам себе: какой другой вид получен из той же картинки?
- температура
- то, на что делятся сходства перед softmax; меньшая делает выбор резче
- SimCLR
- обучение без учителя с двумя видами каждой картинки и InfoNCE (Chen et al. 2020)
Напишите pair_loss(a, b, temperature) (тензоры движка формы (n, 16): нормализуйте оба через ssl.normalize (каждую строку до длины 1, как в уроке об InfoNCE), сходства делятся на температуру, перекрёстная энтропия вдоль строк плюс перекрёстная энтропия вдоль столбцов) и обучите 600 шагов по 128 пар при температуре 0,1. Пройдите, если правильная картинка стоит первой хотя бы для 5% тестовых подписей (случайно 0,5%).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.