【IEEE】基于神經(jīng)網(wǎng)絡(luò)+小波分析的梵高作品特征識(shí)別
導(dǎo)言：
????從歷史上看，人在理解文字之前就已經(jīng)接觸圖像。但這并不意味人對(duì)圖像的把握勝于對(duì)文字的理解。人們有時(shí)對(duì)藝術(shù)作品的視覺理解相當(dāng)有限。
????機(jī)器學(xué)習(xí)算法拾取的作品特征可以協(xié)助人們理解畫家的作畫風(fēng)格。文森特·梵高是最知名的后印象派畫家之一，其作品對(duì)二十世紀(jì)藝術(shù)產(chǎn)生了深刻影響。梵高的作品以其對(duì)互補(bǔ)色的大膽運(yùn)用、富有節(jié)奏感的筆觸，和其天馬行空的表現(xiàn)風(fēng)格而著稱。藝術(shù)史學(xué)家的研究表明，梵高的作畫風(fēng)格和筆法在不同時(shí)期有不同的特征：
梵高早期以陰沉的色調(diào)為主。其中最著名的是《吃馬鈴薯的人》（The Potato Eaters）（1885年）。
Credits (obliged to state): Van Gogh Museum, Amsterdam (Vincent van Gogh Foundation)
????1886年，梵高去巴黎和畫家科爾蒙一起學(xué)習(xí)，并遇到了畢沙羅，莫奈和高更等印象派畫家。受此影響，他開始使畫面變得明快，顏色變得亮麗，并以印象派風(fēng)格的短筆觸繪畫。
Credits (obliged to state): Van Gogh Museum, Amsterdam (Vincent van Gogh Foundation)
????1888年，梵高決定向南前往阿爾勒（Arles），和朋友一起創(chuàng)建藝術(shù)學(xué)校。這段時(shí)間也是梵高現(xiàn)今著名畫作的集中爆發(fā)時(shí)間，諸如《向日葵》(sunflower)、《羅納河上繁星點(diǎn)點(diǎn)的夜晚》(Starry Night Over the Rhone)，都具有熱烈鮮明的色彩、自由揮灑的筆觸和強(qiáng)烈的象征意義。
Oil on canvas 91.0 x 72.0 cm. Arles: August, 1888
Munich: Neue Pinakothek
Medium Oil on canvas Location Musée d’Orsay,
Paris Dimensions 28.5 in × 36.2 in 72.5 cm × 92 cm
????但梵高孤僻的性格導(dǎo)致其無法與人愉快相處，在我們都知道的“割掉耳朵”事件后，他和朋友分道揚(yáng)鑣，并住進(jìn)了圣雷米精神病院。在那里，他畫出了著名的《星夜》(De sterrennacht)。它們使用了大膽的線條和色彩，將自然景物脫離實(shí)體，并為它們賦予了情感。
Oil on canvas 73.0 x 92.0 cm. Saint-Rémy: June, 1889
New York: The Museum of Modern Art
??? 神經(jīng)網(wǎng)絡(luò)算法可以從梵高及其當(dāng)代畫家的數(shù)字化繪畫中提取筆觸，并分析這些筆觸的特征。一項(xiàng)基于梵高博物館和克羅勒·穆勒博物館的藏品中的45幅數(shù)字化油畫的研究對(duì)原始繪畫的彩色大幅面透明膠片進(jìn)行了高分辨率掃描，并數(shù)字化輸入到了神經(jīng)網(wǎng)絡(luò)中，希望得到梵高作品的繪畫特征。
一、基于小波變換的筆觸提取
????小波一詞由 Morlet和 Grossman 在 1980 年代早期提出，之后不斷發(fā)展為最常用的圖像識(shí)別方法。類似于傅里葉變換將信號(hào)展開為一組正弦函數(shù)，小波變換將信號(hào)展開為一組小波基，以此來分析信號(hào)特征。
????小波變換的具體介紹可見此專欄：
????由于小波變換對(duì)邊緣突變敏感，小波變換常應(yīng)用于邊緣檢測(cè)。當(dāng)進(jìn)行小波變換時(shí)，邊緣處會(huì)出現(xiàn)較大的灰度梯度變化，由此得到邊緣的位置。因此，自然而然地，有研究使用小波變換提取梵高作品的筆觸——即畫面的紋理。例如下圖梵高的《裝蘋果的籃子》，可以用小波變換清晰地得到蘋果的筆觸走向和紋理。
??? 小波變換提取畫作筆觸信息算法簡(jiǎn)要如下：
1.邊緣檢測(cè)，并記錄坐標(biāo)
2.邊緣封閉。
3.提取筆觸：如果封閉區(qū)域的某些特征參數(shù)范圍在設(shè)定閾值之間，那么它被識(shí)別為筆觸。
????使用這種方法，可以清晰地提取筆觸結(jié)果，而不會(huì)破壞畫作本身，我們可以看到使用這種算法從梵高巴黎時(shí)期作品提取出的短促筆觸：
Paris, October-November 1887, oil on canvas, 50.2 cm x 64.3 cm
Credits (obliged to state): Van Gogh Museum, Amsterdam (Vincent van Gogh Foundation)
Oil on canvas 32.5 x 40.5 cm.Arles March, 1888
Amsterdam Van Gogh Museum
oil on canvas, 50.5 cm x 103 cm
Credits (obliged to state): Van Gogh Museum, Amsterdam (Vincent van Gogh Foundation)
二、基于神經(jīng)網(wǎng)絡(luò)的特征識(shí)別
????接下來，將提取出的筆觸輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行分析和特征提取。
??? 人工神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型。1943年，心理學(xué)家W. S. McCulloch和數(shù)理邏輯學(xué)家W. Pitts建立了神經(jīng)網(wǎng)絡(luò)的MP數(shù)學(xué)模型。他們通過MP模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個(gè)神經(jīng)元能執(zhí)行邏輯功能，從而開啟了人工神經(jīng)網(wǎng)絡(luò)的大門。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元組成。給定的輸入信息會(huì)傳達(dá)到所有神經(jīng)元進(jìn)行計(jì)算，進(jìn)而得到輸出值。
? ? 常用于圖像識(shí)別的是卷積神經(jīng)網(wǎng)絡(luò)，即多層人工神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。單層神經(jīng)元的輸出信息會(huì)作為下一層神經(jīng)元的輸入繼續(xù)計(jì)算，經(jīng)過多層計(jì)算后，得到分類函數(shù)。這種多層處理的方法使得其非常適用于圖像識(shí)別，自然也就能用來分析繪畫作品。
??? 對(duì)于一幅畫，卷積神經(jīng)網(wǎng)絡(luò)將其視為一組二維像素，并從畫中取出一小塊像素輸入卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)小方塊的圖像特征；逐個(gè)小方塊看完整個(gè)畫，最后再將學(xué)習(xí)到的特征拼回到畫上，得出判斷。這個(gè)過程類似于藝術(shù)鑒賞家用放大鏡一點(diǎn)點(diǎn)地看畫的細(xì)節(jié)，最后再把所有細(xì)節(jié)結(jié)合起來，進(jìn)行綜合評(píng)估和作品分類。
??? 神經(jīng)網(wǎng)絡(luò)算法可以處理通過邊緣檢測(cè)、聚類分析大量自動(dòng)提取的筆觸，并分析這些筆觸的特征，可以將梵高的作品與其他人的作品區(qū)分開。?
除此之外，神經(jīng)網(wǎng)絡(luò)還能將學(xué)習(xí)到的作品特征運(yùn)用到其他圖像，生成梵高作品風(fēng)格的“作品“
三、參考文獻(xiàn)
[1] 丁寧.西方美術(shù)史十五講[M]，北京：北京大學(xué)出版社，2016.6，p.001
[2] C. Richard Johnson, Jr., Ella Hendriks, Igor J. Berezhnoy, Eugene Brevdo, Shannon M. Hughes, Ingrid Daubechies, Jia Li, Eric Postma, and James Z. Wang “Computerized analysis of Vincent van Gogh’s painting brushstrokes” IEEE SIGNAL PROCESSING MAGAZINE pp.37-48 2008
[3] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge “A Neural Algorithm of Artistic Style” arXiv:1508.06576v2 2015
