Ghép chú thích với ảnh (ý tưởng CLIP) (Tùy chọn)
Vì sao điều này quan trọng Tìm kiếm ảnh bằng văn bản, và phần "hiểu" của các trình tạo ảnh, bắt đầu từ một mẹo: huấn luyện một bộ mã hóa ảnh và một bộ mã hóa văn bản để một bức ảnh và chú thích của nó rơi gần nhau. Lại là InfoNCE, xuyên qua hai loại dữ liệu. Bài học này là tùy chọn: nó không cần cho chứng chỉ.
Mỗi ảnh ở đây đi kèm một chú thích đúng, viết từ cách nó được sinh ra: "a green ring on the left". Phía ảnh là bộ mã hóa SimCLR bị đóng băng cộng một lớp có thể huấn luyện ra 16 con số. Phía văn bản là một túi từ (một con số cho mỗi từ: nó có trong chú thích không?) nhân một lớp có thể huấn luyện ra 16 con số.
Giá trị mất mát là đối xứng: với một batch n cặp, mỗi ảnh phải chọn chú thích của nó trong n chú thích, và mỗi chú thích chọn ảnh của nó trong n ảnh. Hai cross-entropy trên cùng lưới độ tương đồng n x n, một theo các hàng và một theo các cột.
Bài kiểm tra hỏi nhiều hơn "đúng ảnh đứng đầu": ảnh khớp nhất ít nhất có màu của chú thích không? Vật thể của nó? Phía của nó?
Từ và ký hiệu trong bài học này
- InfoNCE
- cross-entropy trên một câu hỏi mà batch tự đặt ra: góc nhìn nào khác tới từ cùng bức ảnh?
- nhiệt độ
- thứ mà các độ tương đồng được chia cho trước softmax; nhỏ hơn làm lựa chọn sắc nét hơn
- SimCLR
- huấn luyện tự giám sát với hai góc nhìn của mỗi bức ảnh và InfoNCE (Chen và cộng sự 2020)
Viết pair_loss(a, b, temperature) (các tensor của bộ máy có shape (n, 16): chuẩn hóa cả hai bằng ssl.normalize (mỗi hàng về độ dài 1, như trong bài học InfoNCE), các độ tương đồng chia cho nhiệt độ, cross-entropy theo hàng cộng cross-entropy theo cột) và huấn luyện 600 bước, mỗi bước 128 cặp ở nhiệt độ 0.1. Đạt khi ảnh đúng đứng đầu cho ít nhất 5% số chú thích kiểm tra (đoán mò 0.5%).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.