تتسرب الـ Embeddings أيضاً
لماذا هذا مهم تحول العديد من ميزات AI النص الخاص بك إلى قوائم من الأرقام تسمى embeddings، ثم تخزنها في قاعدة بيانات للبحث. من السهل التفكير في أنها مجرد أرقام وليست بيانات شخصية. هي ليست مجرد أرقام، يمكنها كشف ما كُتب، وما إذا كان سجل شخص معين موجودا في البيانات أصلا.
بصمة المعنى
تخيّل أمين مكتبة، بدلاً من ترتيب الكتب حسب العنوان، يعطي كل كتاب موضعاً على خريطة ضخمة: كتب الطبخ في زاوية، وأدلة السفر في أخرى، والكتب عن الطبخ الإيطالي قرب الاثنتين. كتابان متقاربان على الخريطة يتناولان أموراً متشابهة. التضمين (embedding) هو ذلك الموضع، لقطعة من النص.
Embedding: قائمة من الأرقام (غالبا مئات منها) ينتجها نموذج AI من نص، بحيث تحصل النصوص ذات المعاني المتشابهة على قوائم متشابهة. إنها مثل موقع خريطة للمعنى.
قاعدة بيانات المتجهات: هي قاعدة بيانات تخزن الـ embeddings وتجد بسرعة تلك الأقرب إلى واحدة جديدة. هي تشغل خاصية البحث بالمعنى وتسمح لمساعدي الذكاء الاصطناعي بالبحث في مستنداتك.
مثال صغير وهمي يحتوي على ثلاثة أرقام فقط لكل نص (الأمثلة الحقيقية تحتوي على المئات):
notes = {
"my knee hurts after running": [0.91, 0.10, 0.02],
"booked physio for my knee": [0.88, 0.15, 0.05],
"new recipe for lentil soup": [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.
تسريب 1: يمكن تحويل الأرقام إلى كلمات مرة أخرى
بما أن الـ embeddings مصممة لالتقاط المعنى، يمكن لأي شخص لديه هذه البيانات تعلم الكثير. أظهر الباحثون أنه باستخدام الأدوات المناسبة والوصول إلى نفس الـ model، يمكن إعادة بناء الكثير من الصياغة الأصلية للنصوص القصيرة من الـ embeddings الخاصة بها. حتى بدون ذلك، يمكن لشخص ما مقارنة الـ embeddings المخزنة لديك مع الـ embeddings الخاصة بالتخمينات ("هل هناك أي ملاحظة حول إصابة في الركبة؟") ومعرفة أي منها قريبة.
تسريب 2: استنتاج العضوية
أحيانا لا يكون السر في ماذا يقول السجل بل في ما إذا كان موجودا. إذا تم بناء بحث الذكاء الاصطناعي في عيادة ما فقط من ملاحظات المرضى، فإن معرفة أن ملاحظة هذا الشخص موجودة هناك تكشف بالفعل أنه مريض.
استنتاج العضوية: معرفة ما إذا كان سجل معين جزءا من مجموعة بيانات، من خلال مراقبة كيفية استجابة النظام له.
إليك الفكرة بشكل مبسط. لنفترض أن أداة بحث تعيد "درجة تشابه" من 0 إلى 1. يقوم مهاجم لديه بالفعل نسخة من ملاحظة (على سبيل المثال، بريد إلكتروني مسرب) بطلب البحث عنها من الأداة:
- إذا كانت الملاحظة is في قاعدة البيانات، فإن أفضل درجات المطابقة هي حوالي 1.00، لأنها تطابق نفسها.
- إذا لم تكن الملاحظة ليست هناك، فإن أفضل تطابق هو مجرد تشابه، وليكن 0.80.
تلك الفجوة تجيب على السؤال "هل هذا الشخص موجود هنا؟". يظهر النمط نفسه مع النماذج المدربة: يميل النموذج إلى أن يكون أكثر ثقة في الأمثلة التي تدرب عليها مقارنة بالأمثلة الجديدة، ويمكن للمهاجم قياس ذلك الفرق.
Defences
- عامل التضمينات كبيانات شخصية. احمِها مثل النصوص التي جاءت منها: التحكم في الوصول، والتشفير أثناء التخزين، والحذف عند حذف النص.
- قم بالتحرير قبل التضمين.أداة التحرير من الدرس السابق تعمل هنا أيضاً: قم بإزالة الأسماء وتفاصيل الاتصال أولاً.
- لا تعرض الدرجات الخام. اعرض النتائج، أو نطاقات مقربة مثل "مطابقة جيدة"، حتى لا يتمكن أحد من ملاحظة المطابقة الذاتية شبه المثالية.
- حافظ على الفهرس على الجهاز عندما يكون لملاحظات شخص واحد فقط. لا يمكن لأي شخص آخر استعلامه.
- أضف ضجيجا دقيقا عند التدريب على بيانات العديد من الأشخاص. يسمى هذا differential privacy؛ يغطي النصف الثاني من الدورة هذا الموضوع بشكل صحيح.
A مفهوم خاطئ شائع
"نحن نخزن المتجهات فقط، وليس النصوص، لذا لا يتم الاحتفاظ بأي بيانات شخصية." تم إنشاء المتجهات للحفاظ على المعنى. إذا كان المعنى شخصيا، فإن المتجهات شخصية أيضا.
ملخص
- An embedding هو قائمة من الأرقام تلتقط معنى نص، يتم تخزينها في vector database للبحث. يمكن لـ
- Embeddings تسريب محتوى النص، ويمكن مقارنتها بالتخمينات.
- تستفسر استنتاج العضوية عن "هل هذا السجل موجود في البيانات؟"، وغالبا ما يتم ذلك عبر رصد تطابقات مثالية بشكل غير عادي أو إجابات واثقة.
- دافع عن البيانات عن طريق الحذف أولا، وحماية embeddings مثل النص الأصلي، وإخفاء raw scores، والاحتفاظ بـ personal indexes على الجهاز.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.