Программа курса Урок 198 из 246 · Модуль 18: Обучение без меток
Модуль 18: Обучение без меток

Сопоставление подписей с картинками (идея CLIP) (по желанию)

Почему это важно Поиск картинок по тексту и "понимающая" часть генераторов изображений начинаются с одного трюка: обучить кодировщик картинок и кодировщик текста так, чтобы картинка и её подпись оказывались рядом. Это снова InfoNCE, через два вида данных. Этот урок необязательный: для сертификата он не нужен.

Каждое фото здесь идёт с правдивой подписью, написанной по тому, как оно было сгенерировано: "a green ring on the left". Сторона картинок - замороженный кодировщик SimCLR плюс один обучаемый слой до 16 чисел. Сторона текста - мешок слов (одно число на слово: есть ли оно в подписи?), умноженный на один обучаемый слой до 16 чисел.

Функция потерь симметрична: для батча из n пар каждая картинка должна выбрать свою подпись из n подписей, а каждая подпись - свою картинку из n картинок. Две перекрёстные энтропии по одной сетке сходств n × n, одна вдоль строк и одна вдоль столбцов.

Тест спрашивает больше, чем "правильная картинка первой": есть ли у лучше всего совпавшей картинки хотя бы цвет из подписи? Её объект? Её сторона?

Слова и символы этого урока
InfoNCE
перекрёстная энтропия на вопросе, который батч ставит сам себе: какой другой вид получен из той же картинки?
температура
то, на что делятся сходства перед softmax; меньшая делает выбор резче
SimCLR
обучение без учителя с двумя видами каждой картинки и InfoNCE (Chen et al. 2020)
Твоя очередь

Напишите pair_loss(a, b, temperature) (тензоры движка формы (n, 16): нормализуйте оба через ssl.normalize (каждую строку до длины 1, как в уроке об InfoNCE), сходства делятся на температуру, перекрёстная энтропия вдоль строк плюс перекрёстная энтропия вдоль столбцов) и обучите 600 шагов по 128 пар при температуре 0,1. Пройдите, если правильная картинка стоит первой хотя бы для 5% тестовых подписей (случайно 0,5%).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.