بيكاسو ، ماتيس ، أم مزيف؟ الذكاء الاصطناعي للإسناد والمصادقة على الفن على مستوى السكتة الدماغية

هل يمكن التعرف على الفنانين بناء على ضرباتهم الفردية؟ قم بعمل ضربات فردية في لوحة أو رسم يحمل توقيع الفنان غير المقصود ، والذي سيكون من الصعب تقليده بالتزوير. هل يمكن تحديد هذه الخصائص غير المقصودة للسكتات الدماغية؟ هذه أسئلة أساسية في سوق الفن اليوم حيث تم بيع لوحة واحدة بسعر قياسي بلغ 450 مليون دولار.

في Artrendex (Art Trend Analytics) ، بالتعاون مع Atelier for Restoration & Research of Paintings ، قمنا بتطوير نظام AI يقوم بتحليل السكتات الدماغية الفردية في الرسومات. الهدف هو اختبار الفرضية القائلة بأن الفنانين يمكن التعرف عليهم بناءً على السكتات الدماغية الفردية ، والتي لا تزال غير مجربة إلى حد كبير قبل علميًا. الهدف أيضًا هو بناء نظام ذكاء اصطناعي قوي يمكن أن يساعد في إسناد المصادقة على الأعمال الفنية والمصادقة عليها ، استنادًا بشكل أساسي إلى خصائص السكتات الدماغية ، واستكمال التقنيات الأخرى الموجودة.

المنهجية التي استخدمناها مستوحاة من منهجية "التصوير" التي طورها موريتس ميشيل فان دانتزيج (1903-1960). اقترح فان دانتزيج العديد من الخصائص لتمييز ضربات الفنان ، واقترح أن هذه الخصائص تجسد عفوية كيفية إنشاء الفن الأصلي ، على النقيض من الطبيعة المثبطة للفن المقلد.

من بين الخصائص التي اقترحها فان دانتزيج لتمييز ضربات الفنان هي الشكل والنغمة والطول النسبي لبداية ووسط ونهاية كل ضربة واتجاه وضغط والعديد من الأشكال الأخرى. إن قائمة الخصائص التي اقترحها فان دانزيج شاملة وتتضمن في بعض الحالات أكثر من مائة جانب مصممة للتفتيش بالعين البشرية. الدافع الرئيسي هو وصف السكتات الدماغية العفوية التي تميز فنانًا معينًا من السكتات الدماغية الممنوعة ، والتي يتم نسخها من السكتات الدماغية الأصلية لتقليد أسلوب الفنان.

في نظامنا لم نقم بتنفيذ القائمة الدقيقة للخصائص التي اقترحها فان دانتزيج ؛ وبدلاً من ذلك قمنا بتطوير طرق لقياس السكتات الدماغية المستوحاة من منهجيته ولكنها ذات صلة بالمجال الرقمي ومناسبة للتحليل الإحصائي بواسطة الآلات بدلاً من العين البشرية.

يعزل نظامنا السكتات الدماغية الفردية باستخدام خوارزمية لتجزئة السكتة الدماغية (انظر الشكل). ثم يقوم النظام بعد ذلك بتحديد شكلها ونبرتها باستخدام طرق رؤية الكمبيوتر المختلفة. يستخدم النظام أيضًا شبكة عصبية عميقة لتتبع السكتات الدماغية الفردية وتحديد خصائصها. على وجه الخصوص ، استخدمنا بنية شبكة عصبية متكررة (RNN) تسمى وحدة بوابات متكررة (GRU) ، وهي نوع مختلف من LSTM (ذاكرة قصيرة المدى الطويلة). وقد تم استخدام هذه الشبكات على نطاق واسع مؤخرًا في ترجمة النصوص والتعرف على الكلام. تتم مقارنة خصائص السكتات الدماغية ، كما تحددها الشبكة وطرق أخرى ، بعدد كبير من السكتات الدماغية من قبل فنانين مختلفين باستخدام الاستدلال الإحصائي وتقنيات التعلم الآلي.

أمثلة على استخراج السكتة الدماغية من قبل نظامنا: Top: Picasso، Schiele، Bottom: Matisse، Picasso

استبعدنا استخدام المقارنات بناءً على الأنماط والعناصر التركيبية والموضوعية. تستند معظم الأعمال الفنية المزورة على نسخ بعض العناصر والأنماط التركيبية والموضوعية. قد يؤدي استخدام هذه العناصر بشكل واضح وخاطئ إلى ربط عمل موضوع اختبار بالأشكال والتكوين في أعمال فنان معروفة. في المقابل ، إذا كانت الفرضية صحيحة ، فإن خصائص السكتات الدماغية الفردية تحمل توقيع الفنان غير المقصود ، الذي يصعب تقليده أو تزييفه ، حتى إذا كان المزور ينوي القيام بذلك.

تم جمع مجموعة من حوالي 300 رسم من مصادر مختلفة للتدريب والتحسين والتحقق من صحة واختبار منهجيات التصنيف المختلفة المستخدمة في هذه الدراسة. تضمنت المجموعة رسومات ومطبوعات بشكل رئيسي من قبل بابلو بيكاسو وهنري ماتيس وإيجون شييل وأميديو موديلياني ، إلى جانب أعمال تمثيلية صغيرة من اثني عشر فنانًا آخرًا ، تتراوح بين 1910-1950 م. تم اختيار هؤلاء الفنانين لأنهم كانوا غزير في إنتاج رسومات الخط خلال النصف الأول من القرن العشرين. تضمنت المجموعة مجموعة متنوعة من التقنيات بما في ذلك: القلم والحبر ، وقلم الرصاص ، والتلوين ، ورسومات الجرافيت بالإضافة إلى مطبوعات النقش والطباعة الحجرية. بشكل عام ، تضمنت مجموعتنا حوالي 80.000 ضربة.

أجرينا تجارب مكثفة مع إعدادات مختلفة. تضمنت الإعدادات مقارنة أداء النماذج المدربة على تقنيات رسم محددة (على سبيل المثال رسومات الحبر أو رسومات القلم الرصاص) والنماذج المدربة عبر التقنيات لتقييم ما إذا كان بإمكاننا التقاط صورة ثابتة للفنان بغض النظر عن التقنية المستخدمة.

تُظهر تجاربنا أن النظام يمكنه التعرف على ضربات بيكاسو الفردية عبر التقنيات بدقة 79٪ ودقة ماتيس بدقة 77٪ و Schiele بنسبة 86٪. يعتمد هذا التصنيف على شوط واحد في كل مرة! من خلال تجميع هذه النتائج على رسم كامل ، يمكن للنظام تحديد رسومات بيكاسو بدقة 83٪ ، وماتيس بنسبة 80٪ ، وشيل بنسبة 83٪. يتم الحصول على نتائج مماثلة للنماذج الخاصة بالتقنية.

من أجل التحقق من متانة النظام ضد الخداع بفن مزور ، قمنا بتكليف خمسة فنانين لعمل رسومات مشابهة لرسومات بيكاسو وماتيس وسشيلي ، باستخدام نفس التقنيات (انظر الشكل أدناه للحصول على عينات من هذه الرسومات الممزوجة مع الحقيقيون). لم يتم استخدام أي من هذه الرسومات المزيفة في تدريب النماذج. استخدمناها فقط للاختبار. نجح النظام في وضع علامة على رسومات بيكاسو وماتيس وشيل هذه المزورة بنسبة 100٪ من الوقت باستخدام النماذج المدربة عبر التقنية.

أمثلة على صور الرسومات المزيفة المستخدمة للتحقق ، ممزوجة بصور لرسومات ماتيس وبيكاسو وشيلي. انظر المفتاح في نهاية الوثيقة لمعرفة ما هو حقيقي وما هو مزيف!

إسناد المصادقة على الأعمال الفنية والمصادقة عليها مهمة أساسية للغاية لخبراء الفن. تقليديا ، كان التحليل الأسلوبي من قبل العين البشرية الخبيرة وسيلة رئيسية للحكم على صحة الأعمال الفنية. يتم استخدام طرق التحليل الفني المختلفة اليوم لتحليل سطح اللوحة والأصباغ وطلاء الطلاء و / أو مادة القماش. هناك طيف واسع من التصوير (مثل التحليل الطيفي بالأشعة تحت الحمراء والأشعة السينية) ، والتحليل الكيميائي (مثل الكروماتوغرافيا) ، وتقنيات القياس الإشعاعي (مثل مواعدة الكربون) التي تم تطويرها واستخدامها لهذا الغرض. هذه التقنيات مكملة ولكل منها قيود على نطاق تطبيقها.

توفر التكنولوجيا التي نقوم بتطويرها طريقة علمية قابلة للقياس لمقاربة التحليل الأسلوبي التقليدي الذي يقوم به عادة الخبراء البشريون ، على مستوى الطيف البصري ، دون الحاجة إلى تقنيات تصوير معقدة. وستكمل تقنيات التحليل الفني الأخرى وستوفر حلاً فعالاً من حيث التكلفة مقارنةً بتكلفة الأساليب الأخرى القائمة على المختبر والتي يمكن أن تكون باهظة على نطاق واسع لتوثيق الفن الذي لا يُباع بالضرورة عند مستوى 450 مليون دولار.

مفتاح للصور الحقيقية / المزيفة في الشكل:

وهمية ، وهمية ، ماتيس ماتيس ، وهمية ، وهمية ، ماتيس وهمية ، ماتيس ، بيكاسو ، وهمية وهمية ، بيكاسو ، بيكاسو ، وهمية شيل ، وهمية ، وهمية ، شيشيل ، شيشيل ، وهمية

نُشر العمل في ورقة بعنوان "بيكاسو ، ماتيس ، أم مزيفة؟ التحليل الآلي للرسومات على مستوى السكتة الدماغية للإحالة والمصادقة "، والذي سيظهر في مؤتمر AAAI الثاني والثلاثين حول الذكاء الاصطناعي ، الذي سيعقد في نيو أورليانز في فبراير 2018. يمكن الوصول إلى الورقة على https://arxiv.org/ pdf / 1711.03536.pdf