AMI Residency Part 1: استكشاف الفضاء (كلمة) ، وإسقاط المعنى على الضوضاء ، والتعلم مقابل التحيز البشري.

النساء لديهن مهبل ، والرجال لديهم خياشيم

هذه هي المقالة الثانية من سلسلة من المقالات [1 ، 2 ، 3] ، حول بحث قمت به على مدى السنوات القليلة الماضية لم أكن أتحدث عنه. في أيار (مايو) / حزيران (يونيو) 2016 ، كنت مقيمًا في برنامج الفنانين وذكاء الآلة من Google. لقد استكشفت بعض المواضيع ذات الصلة ، مع مخرجات منفصلة. لذا سأكتب عن ذلك في منشورتين. هذا هو الأول من هؤلاء.

الروابط المتعلقة بهذا المنشور: -wordofmath وwordofmathbias وalmost_inspire - python و OF / C ++ src على https://github.com/memo/ofxMSAWord2Vec - (لا يوجد ورق مرتبط بهذه المقالة)

المقدمة

يمكن أن يكون استكشاف الفضاء الكامن شيئًا رائعًا للغاية. سبق لي أن كتبت عن ذلك بعمق هنا. لقص قصة طويلة جدًا ، يمكن اعتبار الفضاء الكامن كمسافة عالية الأبعاد تمثل فيها نقطة واحدة مثيلًا واحدًا أو عينة من البيانات. الأهم من ذلك ، يمكننا محاولة بناء هذه المساحة الكامنة بحيث تلتقط بشكل مثالي نوعًا من العلاقات ذات الدلالة والمعنى ، على سبيل المثال حتى نتمكن من إجراء عمليات هندسية على نقاط لتحويلها ، أو التحرك في اتجاهات معينة للتعامل بشكل هادف مع البيانات ، على سبيل المثال لإضافة نظارات إلى الوجه ، أو جعل الوجه يبتسم إلخ.

يمكن اعتبار بعض جوانب التعلم الآلي (ML) بمثابة وظائف التعلم التي تتحول من مجالات الإدخال والإخراج (مثل وحدات البكسل الخام) إلى هذه الأماكن الكامنة. ويمكن اعتبار بيانات الأنابيب من خلال شبكة عصبية عميقة رحلة عبر أبعاد وتحولات متعددة في المكان (والزمان).

تضمين الكلمات

يعد تضمين الكلمات (أو ناقلات الكلمات) مفهومًا مشابهًا يتم تطبيقه على الكلمات. يمكن للمرء أن يأخذ مفردات اللغة (على سبيل المثال 20000 كلمة ، 50000 كلمة ، 100000 كلمة وما إلى ذلك) ورسمها كنقاط في مساحة عالية الأبعاد تعسفية.

هناك عدد قليل من الخوارزميات القائمة التي تقوم بذلك ، ولا سيما Word2Vec و GloVE يقومون بذلك بشكل جيد. هذه هي خوارزميات التعلم التي تمر عبر مجموعة ضخمة من النص (على سبيل المثال 100 مليار كلمة) ، ويتعلمون كيفية وضع الكلمات في مساحة ذات أبعاد عالية (مثل 300D) بحيث توجد علاقات مكانية معقدة وذات معنى بين الكلمات. لا يقتصر الأمر على أن الكلمات ذات الصلة بالمعنى قريبة من بعضها البعض ، ولكن الاتجاهات والمسافات التي يتم فيها تنظيمها تعني شيئًا.

Mikolov ، T. ، Corrado ، G. ، Chen ، K. ، & Dean ، J. (2013). تقدير فعال لتمثيلات الكلمات في مساحة المتجه. وقائع المؤتمر الدولي حول تمثيلات التعلم (ICLR 2013)

وهكذا يمكننا القيام بعمليات الرياضيات على الكلمات. يمكنك أن ترى في الصورة اليسرى أن المتجه من كلمة 'king' إلى 'queen' مشابه جدًا للمتجه من 'man' إلى 'woman' (ملاحظة: هذا إسقاط من الفضاء الكامن الأصلي 300D ، إلى 3D ، إلى 2D لأغراض التصور). أو في الواقع المتجه من "الرجل" إلى "الملك" مشابه جدًا للمتجه من "المرأة" إلى "الملكة". لذا يمكننا في الواقع إضافة المتجه من "رجل" إلى "ملك" (أي "ملك" - "رجل") إلى ناقل "امرأة" ، وننتهي بنقطة جديدة في هذا الفضاء الكامن 300D. إذا بحثنا عن أقرب كلمة إلى هذه النقطة ، فسوف نجد أنها "ملكة" (في الواقع هذا ليس دقيقًا تمامًا ، المزيد عن هذا لاحقًا).

مقارنات كلمة

يمكننا كتابة هذا كمثال Word2vec الشهير: king - man + woman => queen

يُعرف هذا أيضًا باسم "تشبيه الكلمات" ، وغالبًا ما يتم كتابته باستخدام بناء الجملة: man: king :: woman: [queen] (يُقرأ على النحو التالي: "يجب أن يكون الرجل ملكًا كما تفعل المرأة؟" ويعيد النموذج "ملكة")

وبالمثل ، فإن المتجه من "المشي" إلى "المشي" مشابه جدًا للمتجه من "السباحة" إلى "السباحة". يبدو أن النموذج يتعلم الأزمنة كذلك. أيضًا العلاقات بين الدولة ورأس المال ، على سبيل المثال ، مقارنة المتجهات من "إسبانيا" إلى "مدريد" و "إيطاليا" إلى "روما" إلخ.

الأهم من ذلك ، لا يتم فرض هذه العلاقات بشكل صريح من قبل البشر أثناء التدريب. يتم تعلمهم ، بطريقة غير خاضعة للرقابة من هيئة التدريب. تتكرر خوارزمية التعلم من خلال النص ، وتختار أنماطًا حول كيفية ترتيب الكلمات في جمل وعبارات ، ومن ذلك فإنها تستوعب كيفية تعيين المتجهات.

تذكر أيضًا أن المخططات أعلاه هي إسقاطات في مساحة ثلاثية الأبعاد (مسقطة في مساحة ثنائية الأبعاد) ، حتى نتمكن من عرضها. في الواقع هذه المساحة الكامنة هي 300 د ، لذا فهي تلتقط المزيد من العلاقات في اتجاهات لا يمكننا حتى تخيلها. ومن يدري ماذا يتعلم.

لذا كتبت بعض الروبوتات على تويتر لاستكشاف هذه المساحة.

WordOfMath

يقوم هذا البوت بإجراء عمليات حسابية عشوائية على الكلمات العشوائية وتغريدات النتائج.

يختار أولاً من 2 إلى 4 كلمات عشوائية تمامًا من مفردات من 100 ألف كلمة (في الواقع هي 53 ألف كلمة ، الأسباب الموضحة في المصدر. لاحظ أنه يقدر أن المتحدثين الأصليين باللغة الإنجليزية المتعلمين لديهم مفردات من حوالي 20 ألف إلى 30 ألف كلمة). يرسم البوت هذه الكلمات في مساحة كامنة عالية الأبعاد (باستخدام نموذج word2vec الشهير الذي دربه ميكولوف وآخرون على 100 مليار كلمة من أخبار Google). ثم يقوم بإجراء عمليات حسابية عشوائية (الجمع أو الطرح) على هذه المتجهات. ينتج عن هذا موقع جديد في الفضاء عالي الأبعاد. ثم يعيد البوت أقرب الكلمات.

https://twitter.com/wordofmath

Ie 'human' - 'god' = 'animal' يعني أن البوت اختار عشوائيًا الكلمتين "human" و "god" ، وقرر بشكل عشوائي إجراء عملية الطرح. يطرح متجه "الإله" من متجه "الإنسان" ، ويجد أقرب كلمة إلى هذه النقطة ويغردها ، في هذه الحالة "الحيوان" (في الواقع أنه يغرد أفضل خمس كلمات قريبة ، وهنا فقط اخترت بعض من نتائجي المفضلة).

أعلاه يمكنك رؤية بعض النتائج الحقيقية تمامًا. ولكن يجب أن أشير إلى أن هناك مئات (إن لم يكن آلاف؟) من النتائج ، ولقد اخترت بعضًا من المفضلة. (أنا لم أتفحصهم جيدًا في الواقع ، قد يكون هناك أكثر إثارة للاهتمام).

في البداية كنت أرعى وأحاول فرض قواعد على الكلمات التي يجب أن يختار البوت منها ، حتى تكون النتائج أكثر "عقلانية" ومثيرة للاهتمام. ولكن من خلال القيام بذلك ، أدركت أنني كنت في الواقع تحد من قدرة الروبوت على العثور على نتائج أكثر إبداعًا (ويمكن القول أنها أكثر إثارة للاهتمام ، أو غير متوقعة). لذلك قمت بإزالة أي قيود فرضتها ، وتركت الروبوت يستكشف الفضاء بحرية أكبر. ينتج الآن نتائج غالبًا ما تكون غير منطقية ، وأحيانًا يكون من الصعب فهمها.

وفي الواقع هذا ما انتهى إليه هذا المشروع.

لا يتعلق الأمر بما يخبرنا به النموذج ، ولكن ما نبحث عنه ونراه في النتيجة.

يمكن العثور على الكثير من الأمثلة على تويتر. فيما يلي عدد قليل قمت بتحديده. من السهل تفسير بعض الأمثلة القليلة الأولى.

إنسان - إله = حيوان

هذا مثير للاهتمام يمكن تفسيره على أنه: "إذا لم يكن لدينا / نؤمن بالله ، فسوف ننزل إلى مستوى الحيوانات البدائية" أو بدلاً من ذلك: "ما يميز البشر عن الحيوانات الأخرى ، هو أننا خلقنا على صورة الله ". أو ربما: "البشر مجرد حيوانات ، اخترعت الأديان والمعتقدات بالله" إلخ.

ربما هناك العديد من الطرق الأخرى لتفسير هذا ، وسأكون فضوليًا لسماع بعض الأفكار الأخرى. لكن الحقيقة هي ، لا أعتقد أنها تعني أيًا من هذه الأشياء. لأنه لا يوجد أحد وراء هذا ، يقولها ، لإعطائها أي معنى. إنه مجرد ضجيج ، يتشكل بواسطة مرشح ، ثم نعرض ما نريده عليه. إنها مجرد نقطة بداية بالنسبة لنا لتشكيل ما نريد ، بوعي أو بغير وعي.

قد يختلف البعض ويقولون إن النموذج قد تعلم من مجموعة النصوص الهائلة التي تدرب عليها ، وأن هذه القطعة الأثرية التي ينتجها النموذج تحمل المعاني المضمنة في الجسم. هذا بالطبع صحيح إلى حد ما ، ويمكن التحقق منه من خلال الأمثلة الواردة سابقًا ، مثل king-man + woman = queen ، أو walk-walked + swam = swim. بالتأكيد ليس من قبيل المصادفة أن النموذج يعيد نتائج ذات مغزى في تلك الحالات؟

يبدو أن النموذج قد تعلم شيئًا. ولكن عندما نبدأ في دفع حدود النموذج ، من الأفضل أن نقاوم إغراء القفز إلى استنتاجات حول ما تعلمه النموذج مقابل ما قد يكون نتائج "شبه عشوائية" ، مع استكمال دماغنا لبقية الصورة . أنا لا أقترح أن هناك نقطة قطع عندما يتوقف النموذج عن معنى ويبدأ في تحقيق نتائج عشوائية. إنه أكثر من نطاق. كلما ابتعدنا أكثر عن ما "يريحه" النموذج (أي ما شهده بكثرة أثناء التدريب ، وتعلمه وكان قادرًا على التعميم) ، كلما كانت الضوضاء أكثر أهمية في الإخراج (أي انخفاض نسبة الإشارة إلى الضوضاء) ، وربما أكثر خصوبة الناتج لتفسيراتنا المتحيزة.

سوف أتوسع في هذا بمزيد من التفصيل في وقت لاحق. ولكن أولاً بعض الأمثلة الأخرى.

طبيعة - الله = ديناميات

أنا أحب هذه بالتحديد. أفسر ذلك على أنه "بدون الحاجة إلى إله ، فإن الطبيعة هي فقط قوانين الفيزياء".

تويتر + بوت = الميمات

لم أستطع تصديق هذا عندما رأيته. يكاد لا يحتاج إلى تفسير. "البوتات على تويتر تصبح ميمات". جيدة جدا ليكون صحيحا.

الجنس - الحب = الجماع ، العادة السرية ، الدعارة ، الاغتصاب

هذه واحدة قوية أفسر ذلك على أنه "الجنس بدون حب هو مجرد جماع" ، أو "الدعارة جنس بدون حب" ، أو "الاغتصاب ينطوي على الجنس والكراهية (على عكس الحب)". هذه النتائج مثيرة جدا للاهتمام. ولكن مرة أخرى ، لا ينبغي الافتراض أن النموذج يتعلم هذا التفسير الخاص من بيانات التدريب. في معظم الاحتمالات ، كل هذه الكلمات في مكان ما بالقرب من "الجنس" و / أو "الحب" ، لأنها كلها كلمات ذات صلة. ونعم ربما هذه الكلمات تكمن في اتجاه معين من "الحب" أو "الجنس". ولكن هناك فرق بين مجموعة من الكلمات التي يتم وضعها في الفضاء ، والجملة "الجنس بدون حب هو الجماع أو الدعارة ...". والأخير هو تفسيري للتخطيط المكاني.

السلطات - الفلسفة = الشرطة والحكومات

يجب أن أدفع إبداعي لأتمكن من فهم هذا. أسأل نفسي: "إذا فكرنا في الفلسفة على أنها فعل تفكير ، على أنها منطقية ونقدية ؛ ثم ربما تقول هذه الجملة أن الشرطة والحكومات سلطات لا تفكر ، وليست منطقية؟ ". أو بعبارة أخرى "ما هي أنواع السلطات التي تفتقر إلى التفكير النقدي؟ الشرطة والحكومات ".

لحية - مبررة - فضاء + عقيدة = لاهوت ، خطيب

هذا واحد يدفع حدود إبداعي إلى أبعد من ذلك. لكن لا يزال بإمكاني إيجاد معنى إذا حاولت بجهد. على سبيل المثال ، لنفترض أن اللحية تقليدية وستريو تدل على الحكمة. تخيل لحية غير مبررة - أي أنها تدعي أنها تدل على الحكمة ، لكنها في الواقع لا تفعل ذلك. في الواقع ، تحل هذه اللحية أيضًا محل الفضاء (الذي أفترضه بحرية لتمثيل "الكون" ، "المعرفة" ، "العلم") بالعقيدة. أين يمكن أن نجد مثل هذه اللحية ، متظاهرًا بالحكمة ، ولكن استبدال العلم بالعقيدة؟ في اللاهوت بالطبع ، على سبيل المثال واعظ.

بالطبع هذا هو محاولتي بجد لوضع ربط مربّع في حفرة مستديرة ، محاولًا فهم هذه الجملة "شبه العشوائية" التي يبصقها النموذج. لن أفاجأ إذا تمكن شخص ما من تفسير هذه الجملة على أنها تعني العكس تمامًا من الطريقة التي اخترت تفسيرها.

إسقاط المعنى على الضوضاء

ومع ذلك ، أجد هذه النتائج رائعة إلى ما لا نهاية. ليس لأنني أعتقد أن النموذج لديه مثل هذا الفهم القوي للغة الإنجليزية ، ولكن لأنه يعمل كنوع من "مرشح المعنى".

ما يدخل في النموذج عشوائي تمامًا (أي الكلمات والعمليات الحسابية التي يختارها البوت). أو لكي أكون أكثر دقة في لغتي ، فكر فيها على أنها ضجيج مع توزيع موحد ، ضجيج أبيض.

ربما لا يوجد الكثير من المواد هنا لفهمها وكتابة القصص حولها؟ إنها قائمة بيضاء إلى حد كبير.

ثم يقوم النموذج بتطبيق مرشح فعال على هذا الضجيج ، وثنيه ، وتشكيله ، ويخرج نوعًا جديدًا من الضجيج.

https://en.wikipedia.org/wiki/File:Rorschach_blot_01.jpg

بعبارات أكثر عمومية ، أرى هذه المساحات الكامنة كطرق لبناء بقع الحبر على غرار Rorschach للمجالات المختلفة ، مثل الكلمات والصور والأصوات والنص وما إلى ذلك. تدخل الأرقام أو العمليات العشوائية (أي الضوضاء البيضاء) في النموذج ، وأكثر من ذلك "منظم نتائج عشوائية. لا يزال الأمر "عشوائيًا" ، ولكن بتوزيع أكثر تحديدًا وبنية أكثر. مع ما يكفي من الهيكل بالنسبة لنا حتى نتمكن من رؤية الأشياء فيه ، وإبراز المعنى.

ونحن آلات تتوق إلى الهيكل ، ونعرض عليها معنى. لأن هذا ما نقوم به. هذا ما فعلناه دائمًا. إنها كيف نعيش في البرية ، وكيف نتواصل مع بعضنا البعض. نحن نبتكر القصص ونختلق الأشياء ونؤمن بها. نحن نبحث عن الانتظام ونعرض عليها معنى بناءً على من نحن وما نعرفه.

كل ما نراه ، أو نقرأه ، أو نسمعه ، حتى هذه الجمل التي أكتبها الآن ، تحاول فهمها من خلال ربط تجاربك السابقة الخاصة بك ، والتي تمت تصفيتها حسب معتقداتك ومعرفتك السابقة.

في بعض الأحيان - كما هو الحال في هذه الكلمات في هذه الصفحة - يمكن القول أن هناك معنى مقصودًا مضمنًا في الأداة. هذا هو المعنى الذي يفرضه المؤلف ، مثلي ، منتج الأداة - مضمن باستخدام لغة مشتركة ، طريقة الاتصال والسياق (مثل الأبجدية اللاتينية ، اللغة الإنجليزية وما إلى ذلك). في هذه الحالة ، نأمل أن تفسر المعنى المضمّن كما قصدته. ستستخدم ذلك كنقطة انطلاق ، ثم تتحد مع المعتقدات التي لديك بالفعل في نفسك ، ستسحب رسالة نأمل أن تتماشى إلى حد ما مع المعنى المقصود. ولكن بالطبع لا ، من السهل جدًا الدخول في خلافات بسبب الاتصالات الغامضة. فقط اسأل ريتشارد داوكينز.

لكننا ما زلنا ننجح في العثور على معنى حتى في الأماكن التي لا يوجد فيها دائمًا معنى مقصود أو مضمّن ، أو في الواقع لا يوجد مؤلف نبدأ به. مثل عندما نرى الوجوه في السحب ، أو الناس المقدسين في الخبز المحمص. أو حتى مثل العديد من الأساطير والقصص المختلفة التي اخترعتها ثقافات العالم المختلفة ، عند النظر إلى النقاط المضيئة التي تزين سماء الليل.

هذا ما أحببته في Deepdream عندما ظهرت لأول مرة في العام الماضي. لا يعني ذلك أنها أنتجت جروًا صغيرًا وسحالي الطيور. لكن ذلك أخذ ضجيجًا وشوهه بما يكفي حتى نبدأ في عرض المعنى عليه ، لاكتشاف وتفسير ميزات تشبه الجرو ، تشبه البزاق ، تشبه الطيور - تمامًا كما فعلت الخوارزمية نفسها.

لقد كتبت منشورًا أطول حول الحلم العميق في سياق قطار التفكير هذا (هنا) ، وملخص للبتة ذات الصلة كما يلي:

عندما ننظر إلى هذه الصور التي تم إنشاؤها في الحلم العميق ، نقول "أوه ، إنها جرو ، أو سحلية الطيور". ولكن في الواقع ، لا يوجد شيء من هذا القبيل. لا توجد الطيور أو السحالي أو الجراء أو البزاقات في هذه الصور. لا توجد سوى ميزات طيور - مثل * ، وجرو - * مثل * ، و slug- * like *. تتعرف الشبكة العصبية الاصطناعية بشكل غامض على تلك الميزات في الصورة الأصلية ، وتطلق الخلايا العصبية الاصطناعية المقابلة ، ولكن بشكل ضعيف ، وفي مكان ما في الفضاء الكامن. تقوم خوارزمية الحلم العميق بتعديل الصور لتضخيم هذه الإشعال. ثم * نحن * ننظر إلى هذه الصور ، ونشاط معين في دماغنا يسجل تلك السمات الشبيهة بالطيور والجرو. ولكن لا تزال هناك لا الطيور أو الجراء هنا. * نحن * نكمل عملية الاعتراف هذه من خلال إسقاط هذه المعاني على ما هو أساسًا ضجيج ، مع توزيع محدد. وأود أن أزعم أن هذا هو جوهر وجودنا بالكامل: فهم توزيعات معينة للضوضاء.

تعلمت مقابل التحيز البشري

في نفس الوقت الذي كنت أقوم فيه بهذه الاستكشافات ، تم نشر بحث يبحث عن التحيزات المجتمعية التي تعلمتها النماذج [1 ، 2].

الأب: دكتور :: الام: [ممرضة]

على وجه الخصوص ، تم تقاسم نتيجة واحدة على نطاق واسع وجعلت العناوين الرئيسية. عند تقديم "دكتور-أب + أم" (أي "أب لطبيب كما يجب أن تكون الأم؟") ، يبدو أن النموذج يعيد "ممرضة". إذا كان هذا صحيحًا ، فهذا دليل واضح جدًا على التحيز القوي بين الجنسين في النموذج ، والذي تم تعلمه من بيانات التدريب (في هذه الحالة ، 100 مليار كلمة من أخبار Google).

لسوء الحظ ، هذا ليس دقيقًا تمامًا.

في الواقع ، عندما نقوم بعملية مثل "king-man + women" ، فإن أقرب كلمة إلى نقطة النهاية ليست دائمًا "Queen". من المحتمل أن يكون "الملك". في الواقع ، في جميع العمليات المذكورة أعلاه ، عادةً ما تكون أقرب كلمة هي إحدى الكلمات الأصلية التي كانت في استعلام الإدخال (أي الملك أو الرجل أو المرأة). لذلك عندما نقوم بهذه العمليات ، نقوم بإزالة (إدخال التصفية ، تجاهل) يدويًا كلمات الإدخال من النتائج التي يرجعها النموذج. في حالة "دكتور-أب + أم" ، يعيد النموذج في الواقع كلمة "دكتور" على أنها أقرب كلمة ، مع كون "ممرضة" ثاني أقرب كلمة. في الواقع ، الكلمات الخمس الأولى من النموذج هي الطبيب ، الممرضة ، الأطباء ، الطبيب ، طبيب الأسنان (يمكنك تجربتها هنا).

يذكر مؤلفو الأوراق صراحة أن "[تضمين الكلمات] تظهر تحيزات خفية متأصلة في مجموعة البيانات التي يتم تدريبهم عليها ... وتعيد الحلول المنحازة ... مثل الأب: الطبيب :: الأم: ممرضة". يتم التعبير عن هذا الشعور عدة مرات في كلتا الورقتين ، وفي الواقع ، فإن التحيز المتعلم هو أساس البحث.

في حين أن النموذج لم يتعلم هذا التحيز بين الجنسين. والنتيجة الأولى من نموذج النموذج هي في الواقع "دكتور" ، ولكن يتم تجاهل هذه النتيجة ويتم الإبلاغ عن "ممرضة" (النتيجة الثانية الأعلى) في الورقة باعتبارها أفضل إخراج للنموذج. هذه إما كذبة صريحة (وهذا ما أشك فيه بشدة) ، أو خطأ مستخدم بشري من جانب مؤلفي الورقة (وهو أمر أكثر احتمالا). آمل ، وأعتقد أن هذا خطأ بريء ، وأن المؤلفين لا يعملون في الواقع مع النموذج مباشرة ، لكنهم يستخدمون واجهة خارجية للنموذج. تجري واجهة الطرف الثالث هذه التصفية ، وربما لا يدرك المؤلفون ذلك (على سبيل المثال ، هنا واجهة غير مفلترة عبر الإنترنت للنموذج ، وهنا واجهة مفلترة عبر الإنترنت - حدد نموذج أخبار Google باللغة الإنجليزية. لديك python و C ++ code للعب مع النموذج مباشرة).

ومع ذلك ، فقد انتشر هذا البحث في الأخبار ووسائل التواصل الاجتماعي وتمت مشاركته على نطاق واسع - خاصة هذه النتيجة بالذات - بما في ذلك في أماكن مثل MIT Technology Review. أحد الجوانب المثيرة للاهتمام هو أنه في حين أن الأخبار المزيفة تمثل بالفعل مشكلة كبيرة ، فإننا "المفكرون الناقدون المثقفون" نحب عمومًا أن ننسبها إلى "الجانب الآخر" - إلى Daily Mail و Breitbart و alt-right على Facebook (الآن المزيد موضعي من أي وقت مضى). فلماذا تقوم MIT Technology Review بالإبلاغ عن "أخبار وهمية"؟ لماذا يشاركه الجميع على Twitter و Facebook؟ ألا يفترض الأشخاص الذين يبحثون عن التحيز والظلم في نماذج التعلم الآلي أن يكونوا المفكرين الناقدين ؟، "الأخيار"؟

هذا موضوع كبير لمنشور آخر ، لكنه الدافع للمشروع التالي لذلك سأتطرق إليه بإيجاز.

يبدو أن التحيز البشري في تفسير النتائج قد يكون أقوى من أي تحيز قد يكون متضمنًا في التجربة أو النموذج. ولا أحد محصن ضد هذا (بما في ذلك أنا بالطبع ، والذي سيكون متأصلاً في منظور هذه المقالة).

يبدو أن مؤلفي تلك الأوراق أرادوا العثور على تحيز في نموذج word2vec لذلك فعلوا ذلك ، دون التساؤل حقاً عن كيفية أو لماذا حصلوا على هذه النتائج. يبدو أن MIT Technology Review أرادت الإبلاغ عن التحيز في نموذج اللغة ، لذلك فعلوا ذلك ، دون التشكيك في البحث. بعد كل شيء ، لماذا يجب أن يسألوا ذلك؟ كانت النتائج في ورقة! (ملحوظة: ورقة عن arxiv لا تخضع للمراجعة من قبل الأقران ، يمكن لأي شخص أن ينشر هناك ولا ينبغي أن يكون لها أي سلطة. ولا يتم عقد ورقة في ورشة العمل بنفس المستوى من التدقيق مثل مؤتمر أو مجلة).

يبدو أن كل من شارك هذه المقالات على Twitter و Facebook أراد مشاركة القصص حول التحيز الجنسي المكتسب في نماذج ML ، لذلك فعلوا ، بعد كل شيء ، لماذا يجب أن يشككوا في MIT Technology Review؟ أو باحثون في جامعة بوسطن ، أو Microsoft Research؟

والأهم من ذلك ، أن الأسئلة المطروحة في الأوراق هي أسئلة مهمة ويجب طرحها ومناقشتها ، وأنا أثني على المؤلفين للقيام بذلك (في الواقع ، ربما لم يكن المشروع التالي قد حدث لو لم يكن لهم - إجراء العديد من الدراسات الأخرى في الصحف التي تعتبر صالحة للغاية).

ومع ذلك ، أجد أنه من المثير كيف يمكننا أن نتخلى عن حذرنا ، وأن نكون أقل انتقادًا لحلفائنا - من القصص والروايات والأدلة - عندما تتماشى مع القضايا التي ندعمها ونؤمن بها. يبدو الأمر تقريبًا كما لو كنا على استعداد لتخفيف معاييرنا للتقييم النقدي ، والتنازل عن القليل من الحقيقة إذا كان ذلك من أجل "سبب وجيه" (هذا شيء يطرح الكثير في تفكيري ، وكتبت بإيجاز عنه هنا ، مع مثال كلاسيكي هنا ).

أنا لا أقترح عدم وجود تحيزات مكتسبة في النموذج. في الواقع ، هناك بلا شك تحيزات تم تعلمها في النموذج ، وهناك دائمًا تحيز في النموذج ، ولهذا السبب ولد مجال الإحصاء في البداية! (على سبيل المثال ، دراسة ومحاولة تقليل هذا التحيز - لقد كتبت عن تاريخ موجز للآلة والتحيز الإحصائي هنا).

انها مجرد أن "الطبيب الأب + الأم = ممرضة" ليست مثالاً على ذلك في هذه الحالة. إذا كان أي شيء ، فهو دليل على التحيز البشري في تفسير النتائج والإبلاغ عنها ومشاركتها.

لذلك بدأت أفكر في كيف يمكن للمرء استكشاف التحيز ضد المرأة في النموذج.

WordOfMathBias

https://twitter.com/wordofmathbias

كل ما قلته حتى هذه اللحظة - إبراز المعنى للضوضاء ، والتعلم مقابل التحيز البشري - كان الدافع لهذا الروبوت بوت.

هذا الروبوت مشابه لما سبق ، ولكنه يتعلق أكثر باستكشاف التحيزات المجتمعية (خاصة الجنس) التي قد يكون النموذج قد تعلمها من بيانات التدريب. وهي تبحث عن تشابه الكلمات العشوائية مع "الرجل" و "المرأة" ، وتديرهما في كلا الاتجاهين.

أي إذا لم تتم تصفيته ، "رجل: طبيب :: امرأة:؟" يُرجع الطبيب ، وهو أمر غير مثير للاهتمام ، لا نحصل على الكثير من الإحصاءات حول النموذج أو البيانات. إذا تم تصفيتها ، نحصل على ممرضة ، وهو أمر مثير للاهتمام ، ولكن لا نقول الكثير من تلقاء نفسها. أي أنه لا يمكن تفسير ذلك على أنه النموذج الذي يدعي "الرجل هو الطبيب كما أن المرأة ممرضة" (انظر القسم السابق).

ومع ذلك ، إذا قمنا بعكس "الرجل" و "المرأة" ، وقمنا أيضًا بتشغيل "المرأة: الطبيب :: الرجل:؟" ونصفي النتائج ، نحصل على "طبيب". الآن هذا مثير للاهتمام ويلقي المزيد من الضوء على النموذج الذي أعتقد. في حين أن النتيجة الأعلى (غير المرشحة) لكل من "الرجل: الطبيب" و "المرأة: الطبيب" لا تزال "طبيبة" ، فإن النتيجة الأعلى الثانية للمرأة هي "ممرضة" ، بينما النتيجة الثانية الأعلى للرجل هي "الطبيب". من الواضح أن هذا تحيز مضمن في النموذج ، تم تعلمه من بيانات التدريب. أتساءل ماذا يوجد هناك؟

إذاً هذا البوت يستكشف تضمين الكلمات بهذه الطريقة. يختار كلمة عشوائية تمامًا ، ويضيف المتجه من "رجل" إلى تلك الكلمة إلى "امرأة" ويعيد النتائج. كما أنه يضيف المتجه من "المرأة" إلى تلك الكلمة إلى "الرجل" ، ويعيد النتائج. في كلتا الحالتين ، تقوم بإرجاع النتائج الأربعة الأولى ، وتقوم بتصفية كلمات استعلام الإدخال لتوفير المساحة.

إنها ليست علمية للغاية ، إنها أكثر من استكشاف غير رسمي. ولكن في الواقع ، بالإضافة إلى استكشاف التحيز المتعلم في النموذج ، فإنه يستكشف أيضًا التحيز البشري في تفسيراتنا. تمامًا كما هو الحال فيwordofmath bot ، أجد أنه من المثير للاهتمام رؤية كيف نحاول عرض المعنى على النتائج. نظرًا لأن البوت يختار كلمة عشوائية حقًا (أي الضوضاء البيضاء والتوزيع المنتظم) ، فغالبًا ما يصعب تفسير النتائج. وكما حدث من قبل ، نقرأ ما نريد أن نقرأه من هذه الضوضاء المنظمة.

على سبيل المثال

إذا كانت الكلمة العشوائية "مطلوبة" ، فإن المرأة "توافق" أو "تطلب" ، بينما "يرشد" الرجل ، أو "يوافق". هل أنا أم يبدو أن كلمات الرجل لها دلالة إيجابية أكثر؟ هل هذا يقول شيئا عن بيانات التدريب؟ أم أنا أقرأ الكثير في ذلك؟ هل تقول أي شيء عن النموذج؟ أم أنها تقول المزيد عني وعن الطريقة التي أفكر بها؟ كيف كنت سأفسر هذه النتائج قبل 10 سنوات مقارنة بما أفعله اليوم؟ كيف سأفسرها في 10 سنوات؟

إذا كانت الكلمة العشوائية "معجبة" ، فإن المرأة "تعشق" أو "تستمتع" ، بينما "يستمتع" أو "يعرف" الرجل. كيف تكون المرأة "مستمتعة" بينما الرجل "يعرف"؟ هل هذا يعني أي شيء؟ أو يمكن أن تكون غير ذات أهمية مثلما يحدث بسبب أخطاء التقريب الفاصلة العائمة؟

إذا كانت الكلمة العشوائية "أحرف" ، فإن المرأة هي "بطلات" أو "ممثلات" بينما يكون الرجل "أشرار" أو "وحوش".

إذا كانت الكلمة العشوائية "سيارات" ، فإن الكلمة الوحيدة المختلفة هي "سيدان" للمرأة ، و "عربات" للرجل. أعتقد أنه من الشائع أن يكون لديك سائقو سيارات فان من الإناث. هل هذه صدفة؟ أو هل تعلم النموذج هذا بالفعل؟

هذا مثير للاهتمام ، إذا كانت الكلمة العشوائية "تمضغ" ، فإن الكلمة المختلفة الوحيدة هي "تؤكل" للمرأة و "تلتهم" للرجل. شخصيا ، "التمايل" هو وصف دقيق جدا لكيفية تناول الطعام. لكنني لا أعرف ما إذا كنت أقرأ الكثير عنها فقط في هذه المرحلة.

تزداد احتمالية ارتباط المرأة بـ "الدعوة" أو "الجمعيات الخيرية" ، بينما يزداد ارتباط الرجال بـ "الفريق" أو "النادي". مرة أخرى ، هذا يمكن تصديقه.

تشمل القضايا "الاجتماعية" المتعلقة بالمرأة "الجنس" و "الأمهات" و "الرفاهية" ، بينما بالنسبة للرجال "اجتماعية" و "شبابية" و "فكرية".

ردا على "الجفون" ، لدى النساء "المهبل" و "الخدين" ، بينما الرجال لديهم "خياشيم" و "جبين".

أخيرا،

المرأة هي "الحوض" أو "الصينية" ، مثل الرجل "دلو" أو "مصفاة". ماذا يعني أو يعني ذلك؟ أنا متأكد من أنه يمكن للمرء أن يستخدم هذا كنقطة بداية لمقال إذا وضعوا تفكيرهم في ذلك ، كما فعلت مع مثال "مساحة اللحية المبررة + عقيدة = اللاهوت ، الواعظ".

سيعود النموذج بنتيجة ، بغض النظر عن مدى سخافة السؤال الذي تطرحه. مرة أخرى ، يتم تذكيري بواحد من الاقتباسات المفضلة لدي (والتي أدرجها أيضًا في مشاركتي حول تاريخ التحيز الإحصائي):

[على آلات حساب باباج] "في مناسبتين سئلتني [من قبل أعضاء البرلمان] ،
"صل يا سيد باباج ، إذا وضعت في آلة أرقام خاطئة ، فهل ستخرج الإجابات الصحيحة؟"
أنا غير قادر على فهم نوع الخلط بين الأفكار التي يمكن أن تثير مثل هذا السؤال. " - تشارلز باباج (1791–1871) ، "مقاطع من حياة فيلسوف" ، 1864

ليس هناك شك في أن تضمين الكلمات يمكن أن يتعلم بالفعل وضع الكلمات مكانيًا بأبعاد عالية بطريقة تمكنها من التقاط نوع من العلاقات ذات المغزى. سيشمل ذلك التحيزات المضمنة في بيانات التدريب. وعند استخدام مثل هذه النماذج لاتخاذ قرارات حاسمة ، من المرجح أن يكون لأي تمييز ناتج عن هذه التحيزات نتائج سلبية للغاية ، خاصة بالنسبة لأولئك الذين يعانون بالفعل من نوع من الحرمان.

ولكن مع اختلاط ذلك ، غالبًا ما يتم وضع هذه المخرجات بدقة شديدة بين "عشوائي" و "منظم" ، بحيث يصعب أحيانًا معرفة ما إذا كان هناك بالفعل أي معنى وراءها ، أي التحيزات المضمنة في النموذج ، أم أننا إنهم فقط يعرضون ما نريد رؤيته ، ويكشفون تحيزاتنا الخاصة في تفسير النتائج. في بعض الأحيان ، قد يكون عرض الكثير من المعنى على مخرجات نموذج يشبه إلى حد ما رؤية وجه يسوع في قطعة من الخبز المحمص ، والاقتناع بأنها رسالة من الله.

وفي بعض الحالات ، لا يعد هذا أمرًا سيئًا دائمًا. أجد الفكرة رائعة ، لاستخدام نماذج ML والمساحات الكامنة كمرشحات للمعنى ، لاستجواب تحيزاتنا وتصوراتنا - لأخذ توزيعات موحدة للضوضاء (أي عشوائية تمامًا ، أي ضوضاء بيضاء) ، وثنيها إلى ضوضاء أكثر تنظيمًا قليلاً ، مثل مولدات Rorschach inkblot ، لمجالات مختلفة مختلفة.

وبعد ذلك يمكننا استخدام القطع الأثرية المنتجة كنقاط انطلاق ، كبذور تزهر في خيالنا ، ونرى الأشياء فيها ، ونعرض عليها المعنى ، وننشئ القصص ونخترع الروايات حولها ، كما فعلنا لملايين السنين.

ملحوظة هذه الأفكار حول "إسقاط المعنى على الضوضاء" وغيرها من التحيزات التي تخدم الذات بالطبع تتجاوز إلى حد بعيد تفسير مخرجات نماذج التعلم الآلي ، ويمكن القول أن جميع جوانب الإدراك وفي الواقع الحياة - بما في ذلك حتى بعض الاستقطاب الاجتماعي والسياسي يرون اليوم. سأعمل بلا شك على هذه المواضيع أكثر في المستقبل القريب.

في الواقع ، كلما فكرت في مصطلح "ماذا يعني؟" لا يسعني إلا أن أفكر في فيديو yosemitebear62 المزدوج لقوس قزح ، وجهوده لإظهار المعنى على هذه الظاهرة الرائعة:

ومثال أكثر في الثلاثين ثانية الأخيرة من شرحه:

شكر وتقدير

بالإضافة إلى بحثي المستمر في هذا المجال كجزء من شهادة الدكتوراه ، تم دعم هذا العمل من خلال الإقامة في برنامج الفنانين وذكاء الآلة من Google. وبهذه الصفة ، أود أن أشكر كينريك ماكدويل ، ومايك تيكا ، وأندريا هيلد ، وبليز أغيرا إي أركاس وغيرهم الكثير على الدعم ، والمحادثات والاقتراحات الملهمة. العمل والأفكار التي أتحدث عنها هنا مستوحاة أيضًا من العديد من الآخرين ، لكني أود أن أصرح بشكل خاص لأليسون باريش وروس جودوين.