पाठ्यक्रम 246 में से पाठ 139 · Module 12: संख्याओं के रूप में शब्द (embeddings)
Module 12: संख्याओं के रूप में शब्द (embeddings)

Vectors अपने डेटा की नक़ल करते हैं, skews समेत

यह क्यों मायने रखता है Embeddings जो भी patterns टेक्स्ट में हैं सीखते हैं, उन समेत जो कोई नहीं चाहता। असली ख़बरों पर train हुए शब्द vectors कुछ नौकरियों को "she" के और दूसरों को "he" के क़रीब रखते हैं। आप इसे माप सकते हैं, और आपको मापना चाहिए।

उन जोड़ों से एक gender दिशा बनाएँ जो बस gender में अलग हैं: queen घटा king, woman घटा man, princess घटा prince, girl घटा boy, जोड़े और लंबाई 1 तक scale किए। उस पर एक शब्द का स्थान उसका (unit) vector दिशा से dot किया है: धनात्मक "she" की ओर झुकता है, ऋणात्मक "he" की ओर।

खिलौना दुनिया एक skew जोड़ सकती है: skew 0.4 के साथ, nurse वाक्य 90% समय "she" कहते हैं और engineer वाक्य 90% समय "he"। Doctors और teachers 50:50 रहते हैं। और कुछ नहीं बदलता।

इसे हटाना, और पकड़

आप हर नौकरी का दिशा पर घटक घटा सकते हैं, जो उसका स्थान ठीक 0 पर सेट करता है। इस खिलौना दुनिया में यह लगभग पूरी तरह काम करता है: हटाने के बाद मापा, nurse और engineer "she" और "he" के लगभग बराबर क़रीब बैठते हैं (दोनों तरह cosines 0.114 और 0.118)। यह इसलिए कि यहाँ skew एक शब्द, सर्वनाम, में रहता है। असली टेक्स्ट पर train हुए शब्द vectors पर, शोधकर्ताओं ने उल्टा पाया: skew हज़ारों शब्दों में फैला है जिन्हें एक दिशा नहीं पकड़ सकती, इसलिए हटाने के बाद एक नौकरी के पड़ोसी फिर भी उसे पकड़वाते हैं। इसलिए एक साफ़ पैमाना पठन सबूत नहीं कि skew चला गया, और ईमानदार इलाज डेटा से शुरू होता है।

इस पाठ के शब्द और चिह्न
embedding
सीखी संख्याओं की वह row जो एक चिह्न की जगह खड़ी है
window
दोनों ओर कितने शब्द एक शब्द की संगत गिने जाते हैं
PPMI
दो शब्द संयोग के मुक़ाबले कितनी ज़्यादा बार मिलते हैं, ऋणात्मक 0 पर सेट
खिलौना दुनिया
रोपे ढाँचे वाला एक बनाया टेक्स्ट, ताकि सही जवाब जाने हों
skew
डेटा में एक एकतरफ़ा pattern जिसकी vectors नक़ल करते हैं
आपकी बारी

gender_direction(X) और position(X, word, g) लिखें। दोनों unit vectors पर काम करते हैं: पहले हर शब्द के vector को उसकी लंबाई से भाग दें, फिर चार अंतर लें (queen घटा king, woman घटा man, princess घटा prince, girl घटा boy), उन्हें जोड़ें और जोड़ को लंबाई 1 तक scale करें। एक स्थान शब्द का unit vector g से dot किया है। pos भरें: skew (0.0 और 0.4) से चार नौकरियों के स्थानों की एक dict तक, पूरे वाक्य को window मानकर गिनती vectors इस्तेमाल करते हुए। फिर remove(x, g) लिखें जो g पर घटक निकाले।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।