نشر على ٠٤-٠٩-٢٠١٩

عبقرية الفن

اكتشاف عمل فني باستخدام البحث المرئي ، أو الفعالية المعقولة للشبكات العصبية التلافيفية

نُشرت هذه المقالة في البداية في 6 نوفمبر 2017 ، قبل استحواذ Sotheby’s على Genius.

جرب التجريبي في art.threadgenius.co

هناك شيء نرغب دائمًا في تجربته وهو توسيع تجربة البحث المرئي لمؤشر الترابط Genius لتشمل اكتشاف الأعمال الفنية القائمة على التشابه المرئي. لم يتم تحديد الأولويات على الإطلاق نظرًا لأن نماذج التدريب لنطاق جديد تعني عادة جمع بيانات تدريب جديدة تمامًا. بنفس الطريقة التي دربنا بها شبكة الأزياء العصبية لمعرفة المزيد عن الصور الظلية للفساتين وأشكال مختلفة من منقوشة ، فمن المنطقي أن علينا أن نفعل الشيء نفسه بالنسبة لجوانب الفن.

ولكن بدافع الفضول ، ما مدى جودة نماذجنا الحالية في الفن؟ بمعنى ، هل تنطبق الميزات المرئية المستفادة من الأزياء على أوجه التشابه المميزة بين القطع الفنية أيضًا؟

في منشور المدونة هذا ، نستكشف هذا السؤال بشكل أكبر.

تكوين مقابل الموضوع

في Thread Genius ، لدينا بعض النماذج الصافية العصبية المدربة على التعرف على المفاهيم المختلفة الموجودة في الصور. تم تدريب أحد النماذج ، الملقب بـ FashNet أو Fashion Model ، فقط على التعرف على المفاهيم المتعلقة بالموضة. وتشمل هذه الأنماط (المشارب مقابل التمويه) ، والشكل (اللباس مقابل البنطلون) ، والألوان (الأزرق مقابل الأحمر) ، والزخارف (أبازيم مقابل كتاف). تم تدريب نموذج آخر ، والذي نسميه داخليًا باسم Super Model ، على التعرف على مفاهيم الأزياء والمفاهيم العامة التي قد يعرفها معظم الناس - التفكير في الحيوانات والنباتات والمباني ، وما إلى ذلك. تم تدريب هذا بشكل أساسي على تقليل الإيجابيات الخاطئة عند التعامل مع المستخدم الصور المولدة.

دون تقديم أي مفاهيم جديدة حول الفن ، أنشأنا مؤشرين للبحث عن طريق تشغيل هذه النماذج في كتالوج من 600K + الأعمال الفنية.

مقارنة نتائج البحث من نموذجين مختلفين: أحدهما تم تدريبه على صور للأزياء فقط (مثل

توضح مقارنة نتائج هذين النموذجين أن هناك مفاضلة. عارض الأزياء لدينا لا يعرف أي شيء عن الأشياء خارج الموضة. ما هي الغيوم؟ لم يسبق لهم رؤيتهم من قبل لكنهم يشبهون المطبوعات. تفاح؟ هذه هي الساعات الحمراء على الأرجح. لذلك عندما تقوم بمهمة استخراج الميزات المرئية من الصور التي لا تعرفها ، فهناك تأثيرات مثيرة للاهتمام. أحدها هو أن هناك تأكيدًا على ما تعرفه ، أشياء مثل الألوان والقوام. بالنسبة إلى عارضات الأزياء ، فإن اللوحة الزيتية للتفاح ليست سوى شيء أحمر دائري ذي قوام نقي ، وبالتالي ستجمع جميع الأشياء الدائرية والأحمر اللطيفة معًا. إلى Super Model ، نظرًا لأنه يعرف عن التفاح ، فسوف يجمع التفاح معًا.

عارضة الأزياء هي رائعة للفن التجريدي ، سوبر عارضة أقل من ذلك. سوبر موديل رائع للتماثيل ، عارضة الأزياء أقل من ذلك. حسب ذوقك ، قد تفضل واحدة على الأخرى.

ملاحظة جانبية: من المثير للاهتمام ، أن عارضة الأزياء قد وجدت لوحة تفاحة تبدو وكأنها نفس صورة المدخلات. عند الفحص الدقيق ، هناك في الواقع رسمان مختلفان لفنانين مختلفين: صورة الإدخال مأخوذة من جين بالمر ، وكانت نتيجة البحث عبارة عن قطعة عام 2016 من جورج كاسالو. OOOOOH.

نتائج البحث من عارضة الأزياء

شيء واحد نجد أنه رائع ، على الرغم من أننا لم ندرب هذه النماذج أبدًا على معرفة أي شيء عن الفنانين أو تقنيات الرسم ، إلا أنه يتم تجميع الأجزاء لنفس الفنان بشكل طبيعي استنادًا إلى أوجه التشابه في ضربات الفرشاة ، واختيار اللون ، إلخ.

درجات الانفصال

بالطبع ، ماذا سيكون منشور مدونة التعلم العميق بدون صورة t-SNE عملاقة لحفلات الزفاف لدينا؟ النار المال إلزامية يلي.

اعتدنا أن يكون هذا العرض التوضيحي في Spotify يسمى "Boil the Frog" ، حيث أمسكنا أغنيتين عشوائيتين واستخدمنا بعض تقنيات التعلم الآلي لإيجاد سلسلة من الأغاني التي تحولت تدريجياً إلى أخرى. فيما يلي بعض الأمثلة على هذا المفهوم المطبق على الأعمال الفنية.

أمثلة على الفن سلمسلم الفن ، الرسوم المتحركة على غرار GIFالمزيد من الأمثلة على سلالم الفن

ماذا بعد؟

في الشهر الماضي ، أطلقنا API الخاصة بنا والتي تتيح لأي مطور الوصول إلى محرك البحث المرئي الخاص بنا. في الواقع ، يمكن للمطورين على واجهة برمجة التطبيقات الوصول إلى نفس عارضة الأزياء التي استخدمناها لإنتاج النتائج في منشور المدونة هذا. من المسلم به أن الحصول على نماذج مناسبة للعمل مع جميع أنواع الأعمال الفنية يتطلب بعض الضبط الإضافي. لقد رأيت كيف توجد مفاضلة بين نموذج يركز على التركيب مقابل نموذج يركز على الموضوع. إن إيجاد نموذج مثالي يعني إيجاد التوازن الصحيح بين هاتين القوتين.