當(dāng)欣賞一幅畫作時，每個人都會有若干推斷或結(jié)論。除了理解主題外，您可能還會按照時期、風(fēng)格和藝術(shù)家對其進(jìn)行分類。那么，計算機(jī)算法能否像人類一樣深入“理解”一幅畫并輕松地進(jìn)行分類呢？

在羅格斯大學(xué)藝術(shù)與人工智能實驗室，Ahmed Elgammal 教授和他的團(tuán)隊匯集了過去六個世紀(jì)幾千幅畫作的數(shù)據(jù)庫，使用 MATLAB 和 Statistics and MachineLearning Toolbox對這個問題進(jìn)行了深入研究，并解決了兩個關(guān)于 AI 算法的功能和局限的有趣問題：

AI 能否發(fā)現(xiàn)哪些畫作對后世藝術(shù)家的影響最大

能否僅利用畫作的視覺特征衡量其創(chuàng)造性

通過提取視覺特征對作品進(jìn)行分類

我們希望開發(fā)出能夠按風(fēng)格（例如立體派、印象派、抽象表現(xiàn)派或巴洛克派）、題材（例如田園、肖像或靜物）和藝術(shù)家來對畫作進(jìn)行寬泛分類的算法。完成這種分類首先要求能夠識別顏色、構(gòu)圖、紋理、視角、主題和其它視覺特征。其次，還要選取最能夠展示不同畫作相似性的特征。

借助 MATLAB 和 Image Processing Toolbox，我們開發(fā)出了能夠提取畫作視覺特征的算法。特征提取算法在計算機(jī)視覺中相當(dāng)常見，且容易實現(xiàn)。比較困難的任務(wù)是找到最佳的機(jī)器學(xué)習(xí)技術(shù)。我們首先在 Statistics and Machine LearningToolbox 中使用支持向量機(jī) (SVM) 和其它分類算法來識別可用于風(fēng)格分類的視覺特征。在 MATLAB 中，我們隨后采用距離度量學(xué)習(xí)技術(shù)對特征進(jìn)行評估，進(jìn)而提高算法對畫作的分類能力。

通過數(shù)據(jù)庫檢測，我們開發(fā)的按風(fēng)格分類畫作的算法準(zhǔn)確率達(dá)到 60%，其中可能存在 2% 的隨機(jī)性。雖然藝術(shù)歷史學(xué)家的準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于 60%，但算法的準(zhǔn)確率仍高于非專業(yè)人士。

使用機(jī)器學(xué)習(xí)發(fā)掘藝術(shù)的影響力

一旦我們有了可以準(zhǔn)確地對繪畫之間的相似之處進(jìn)行分類的算法，我們便可以著手處理下一個挑戰(zhàn)：利用機(jī)器學(xué)習(xí)揭示藝術(shù)的影響力。我們假設(shè)，對于風(fēng)格分類有用的視覺特征（一個監(jiān)督式學(xué)習(xí)問題）同樣適用于確定影響力（一個無監(jiān)督問題）。

藝術(shù)史學(xué)家的理論認(rèn)為藝術(shù)影響力是基于藝術(shù)家在同一時期如何工作、旅行或者交往決定的。我們基于 MATLAB 的機(jī)器學(xué)習(xí)算法僅使用視覺元素和創(chuàng)作日期進(jìn)行分析。我們認(rèn)為，一個將畫作中的主題和符號考慮在內(nèi)的算法會比僅僅依賴于顏色、紋理等低級別特征更有效。出于這種考慮，我們使用了通過谷歌圖片訓(xùn)練的分類算法來識別特定對象。

我們對 66 名生活年代相差 550 多年的不同藝術(shù)家創(chuàng)作的 1700 多幅作品進(jìn)行了算法測試。該算法可以輕松識別出維拉斯奎茲的《教皇英諾森十世肖像》對弗朗西斯·培根的《教皇英諾森十世肖像的習(xí)作》的影響（下圖）。

左：維拉斯奎茲的《教皇英諾森十世肖像》。

右：弗朗西斯·培根的《教皇英諾森十世肖像的習(xí)作》。

即使外行也能輕松識別出這兩幅畫作在構(gòu)圖和主題上的相似性，但該算法也給出了令和我們一起工作的藝術(shù)史學(xué)家們十分驚訝的結(jié)果。例如，我們的算法識別出法國印象派畫家弗雷德里克·巴齊耶在 1870 年創(chuàng)作的《巴齊耶的畫室》很有可能影響了諾曼·洛克威爾在 80 年后創(chuàng)作的《沙弗萊頓的理發(fā)店》。

左：弗雷德里克·巴齊耶的《巴齊耶的畫室》。

右：諾曼·洛克威爾的《沙弗萊頓的理發(fā)店》。

黃色圓圈表示相似的物體，紅線表示類似的構(gòu)圖，藍(lán)色方塊表示相似的結(jié)構(gòu)元素。

盡管這兩幅畫作乍看可能不太相似，但仔細(xì)觀察就會發(fā)現(xiàn)其在構(gòu)圖和主題上的共同點，比如每幅畫中的火爐都在畫的右下方，三個人在畫面中間，還有左下角的椅子和三角形空間結(jié)構(gòu)。

在我們的數(shù)據(jù)集中，算法正確地識別出藝術(shù)史學(xué)家認(rèn)同的 55 個影響點中的 60%，這表明僅視覺相似性即可為算法（可能為人類）提供足夠的信息來確定這些影響。

通過解決網(wǎng)絡(luò)中心性問題衡量創(chuàng)造性

我們的研究還集中在開發(fā)衡量藝術(shù)創(chuàng)造力的算法上。我們的研究基于一個可識別主題創(chuàng)意是否新穎和有影響力的常用定義，也就是說，一幅有創(chuàng)造性的繪畫作品應(yīng)該不同于其先期的繪畫（新穎度），但與后世作品具有相似度（影響力）。

為解決這一問題，我們再次看到應(yīng)用 MATLAB 算法識別繪畫之間相似性的機(jī)會。在 MATLAB 中，我們創(chuàng)建了一個網(wǎng)絡(luò)：頂點是繪畫，每條邊表示頂點位置上兩幅畫之間的相似度。通過在這個網(wǎng)絡(luò)上的一系列轉(zhuǎn)換，我們發(fā)現(xiàn)根據(jù)這樣一個圖形進(jìn)行關(guān)于創(chuàng)造力的推斷是一個網(wǎng)絡(luò)中心性的問題，而這個問題可以通過 MATLAB 有效解決。

我們使用兩個包含超過 62,000 幅畫作的數(shù)據(jù)集測試我們的創(chuàng)造性檢測算法。該算法給一些藝術(shù)史學(xué)家認(rèn)為新穎且具有影響力的作品打出了很高的分?jǐn)?shù)，包括下圖所示的一些作品。排名高于同期畢加索的《阿維尼翁的少女》(1907) 的是馬列維奇（至上主義運(yùn)動 —— 最早的抽象藝術(shù)創(chuàng)始人之一）的幾幅繪畫作品。

從1400年到2000年(x軸)繪畫作品的創(chuàng)造力打分(y軸)，表示各個時期的最高得分作品。

為了對算法進(jìn)行基本驗證，我們改變了某些藝術(shù)作品的創(chuàng)作時間，有的時間提前，有的時間推后。在這些“時間機(jī)器”實驗中，我們看到某些時間提前到十七世紀(jì)的印象派藝術(shù)的創(chuàng)造力分?jǐn)?shù)大幅增加，時間推后到20世紀(jì)的巴洛克畫作分?jǐn)?shù)大幅降低。算法正確地檢測出 300 年前創(chuàng)造的什物在今天并不具有創(chuàng)意，而如今一些有創(chuàng)意的作品放在過去創(chuàng)意度將大大提高。

人類與生俱來就有對藝術(shù)進(jìn)行分類的感知能力，并且擅長識別不同畫作之間的共同點，但缺乏時間和耐心應(yīng)用這些技能對數(shù)以千計甚至數(shù)以百萬計的繪畫作品進(jìn)行分類。處理這種規(guī)模龐大的任務(wù)是計算機(jī)所擅長的。通過開發(fā)與人類感知能力相近的機(jī)器學(xué)習(xí)算法，我們的目標(biāo)是為藝術(shù)史學(xué)家提供分類龐大圖像數(shù)據(jù)庫的工具。

使用 MATLAB 開發(fā)的用來識別共性和衡量創(chuàng)造性的框架并不只局限于藝術(shù)方面。它可以應(yīng)用到文學(xué)、音樂或任何其它創(chuàng)造性領(lǐng)域，前提是這些單獨的作品可以被編碼并能被算法識別。

目前，Ahmed Elgammal 教授的關(guān)注點仍然在視覺藝術(shù)方面：不僅關(guān)心如何確保機(jī)器學(xué)習(xí)算法產(chǎn)生良好結(jié)果，也關(guān)心如何實現(xiàn)這些結(jié)果。在這個領(lǐng)域，MATLAB 也具有巨大優(yōu)勢，因為它提供許多可快速、輕松地使結(jié)果可視化的方法，幫助理解并利用它們?yōu)椴粩喟l(fā)展的人工智能研究提供信息。