Một mô hình đã học được gì về các chữ cái
Vì sao điều này quan trọng Không ai bảo một mô hình ngôn ngữ rằng a và e đều là nguyên âm. Nếu các embedding của nó vẫn đặt chúng gần nhau, mô hình đã tự khám phá ra điều đó chỉ từ văn bản. Đây là cái nhìn đầu tiên về "ý nghĩa" học được từ dữ liệu.
Để so sánh hai embedding, dùng độ tương đồng cosine: tích vô hướng chia cho cả hai độ dài. Nó bằng 1 khi hai vector cùng hướng, 0 khi chúng không liên quan (vuông góc), và trừ 1 khi chúng ngược hướng. Nó bỏ qua độ dài, thứ phần lớn phản ánh một ký hiệu xuất hiện thường tới đâu.
Bạn sẽ nhìn vào bên trong GPT nhỏ xíu đã ghi lại của khóa học (Mô-đun 13 dựng nó). Nó chỉ đọc văn bản bài học của khóa học này, từng ký tự một, với mỗi ký tự là một hàng 64 con số.
Hãy dự đoán trước: nhóm cặp ký tự nào sẽ tương đồng nhất trung bình: hai nguyên âm, một nguyên âm và một phụ âm, hay hai chữ số?
Từ và ký hiệu trong bài học này
- embedding
- hàng các con số đã học được đại diện cho một ký hiệu
- độ tương đồng cosine
- tích vô hướng chia cho cả hai độ dài: 1 cùng hướng, 0 không liên quan, -1 ngược hướng
Gán my_prediction là "vowels", "mixed" hoặc "digits". Viết cosine(a, b) và nearest(ch, k) (k ký tự khác có cosine cao nhất với ch, tốt nhất trước). Rồi điền group với cosine trung bình trên mọi cặp ký tự khác nhau trong mỗi nhóm.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.