基于特征融合算法的絲巾花型藝術風格分類

關鍵詞：花型圖案生成；風格特征提?。伙L格分類；特征融合

中圖分類號：TP391 文獻標志碼：A

0引言（Introduction）

絲巾作為一種經(jīng)典的配飾，在時尚界具有重要地位。然而，傳統(tǒng)企業(yè)在絲巾花型圖案設計上常面臨設計周期長、成本高昂等難題。

隨著卷積神經(jīng)網(wǎng)絡技術的日益成熟，計算機已具備理解并分析絲巾花型圖案的能力。王柄榕通過K-means算法對油畫作品進行聚類，對畫家風格進行分類。SENALP等提出了以超分辨率深度網(wǎng)絡模型進行熱圖像分類。謝秦秦等根據(jù)油畫的特征，用票選法進行油格風格分類。AHMED等提出的模型利用了結構特征進行圖像分類。馮茂雙提出一種改進的深度學習布匹分類方法，對布匹上的花型圖案進行了量化分類。

總體而言，上述研究大多聚焦特定領域，其針對性強但泛化能力不足，無法滿足風格內(nèi)涵的分類需求。因此，本文提出了基于特征融合的絲巾花型藝術風格分類算法，首先使用風格遷移模型提取絲巾花型圖案風格全局特征，其次使用SIFT算法提取絲巾局部特征，最后使用特征融合算法對絲巾進行風格分類。實驗證明，該算法通過融合得到的新特征能夠從多個角度對圖像進行評估，具有更全面的風格描述能力和較高的風格分類準確性。

1數(shù)據(jù)集構建（Dataset construction）

1.1絲巾花型圖案采集

本文對各大平臺如京東、淘寶、拼多多、亞馬遜等公開出售的絲巾情況進行了分析。通過網(wǎng)絡爬蟲技術獲取了大量絲巾圖片，并經(jīng)過檢索和清洗處理，篩選出了部分具有代表性的絲巾信息（圖1），這些信息包括絲巾的圖片、商品名稱、商品風格、商品花型、商品屬性、商品評論等，這些基本信息為構建絲巾花型圖案數(shù)據(jù)集提供了豐富的基礎資料。

1.2絲巾花型圖案預處理

本文基于人工篩選和處理，得到一組絲巾正面圖，整理后的部分絲巾花型圖案展示如圖2所示。參考電商平臺中絲巾花型圖案風格的常見分類，結合某些品牌圖案豐富的絲巾分類，本文選取了最具有代表性的風格類型進行量化，將整理后的絲巾花型圖案劃分為6類風格，即中國風、休閑風、歐美風、復古風、田園風、抽象風?；诖朔诸愺w系，本文構建了包含1200余張絲巾風格圖案的實際絲巾產(chǎn)品數(shù)據(jù)集；6類實際絲巾花型圖案產(chǎn)品數(shù)據(jù)集樣本圖如圖3所示。此外，通過對不同種類絲巾圖案中的風格元素進行詞頻分析，本文建立了絲巾花型圖案風格的知識圖譜，該圖譜詳細描述了每個風格類型的特征及與之對應的花型圖案高頻描述詞。

本文構建的實際絲巾產(chǎn)品數(shù)據(jù)集包含1200張具有代表性的絲巾風格圖案，這些圖案對于研究絲巾風格及挖掘花型流行元素具有重要的價值。然而，在深度學習模型訓練實踐中，僅憑1200張絲巾圖片難以獲得理想的訓練效果，數(shù)據(jù)集的規(guī)模亟需擴充。因此，本文采用各類風格的絲巾花型圖案的高頻描述詞作為指導，使用SDXL（Stable Diffusion XL）文生圖模型進行絲巾花型數(shù)據(jù)集擴充。

1.3絲巾花型數(shù)據(jù)集擴充

經(jīng)過人工整理的實際絲巾花型圖案產(chǎn)品數(shù)據(jù)集中，絲巾花型圖案一共有6種風格的分類，本節(jié)提取并統(tǒng)計了各類風格的絲巾花型圖案的高頻描述詞（表1）。

本文將使用各類絲巾風格高頻描述詞作為對應類別絲巾圖案生成的絲巾花型圖案風格正反饋提示詞，這些官方高頻描述詞能為圖像生成模型提供重要參考，以生成與現(xiàn)實絲巾花型風格更相近的絲巾花型圖案。隨后，使用SDXL文生圖模型根據(jù)各類高頻提示詞生成每類10000張共60000張絲巾花型圖案。生成的6000張絲巾花型數(shù)據(jù)集樣本圖如圖4所示，為后續(xù)深度學習模型訓練奠定了基礎。

2絲巾花型分類（Silk scarf pattern classification）

現(xiàn)今，隨著圖像分類在各個領域的廣泛應用，對分類準確性的要求也越來越高。僅通過單一特征評估絲巾圖案無法準確描述不同風格圖案之間的差異。因此，單純依靠全局風格特征進行風格分類無法滿足精確分類的需求，尤其是針對絲巾花型風格分類這樣的復雜任務。

針對絲巾花型圖案局部豐富的細節(jié)，本文提出了一種基于特征融合的絲巾花型風格分類方法，對絲巾花型圖案進行風格分類。該方法使用風格遷移模型提取絲巾花型圖的全局特征，使用SIFT算法提取能表征絲巾局部細節(jié)的局部特征，并進行特征融合的風格分類。

2.1絲巾花型圖案風格全局特征提取

在風格遷移任務中，可以提取圖像的風格特征和內(nèi)容特征。低維度特征向量通常包含局部特征和抽象特征，例如邊緣、紋理顏色、風格等特征。這些特征可以在淺層卷積層中被有效地提取出來。高維度特征向量則包含更抽象和語義上的特征，例如物體的形狀、空間布局及語義信息等。這些特征通常在深層卷積層中被學習和表示?？紤]到VGG19（Visual Geometry Group 19）相比于其他網(wǎng)絡具有史復雜的結構，并且在提取花型圖案的風格特征上具有更強的能力，因此本文選擇使用VGG19網(wǎng)絡進行絲巾花型圖案風格全局特征提取是合理的。

風格遷移的實現(xiàn)只需要用到VGG網(wǎng)絡前部分的卷積層，因此可以刪除后段的全連接層和softmax。并且，VGG網(wǎng)絡前部的卷積層也分為多個模塊（Block），不同的Block具有不同的維度，表征絲巾圖案的語義也不同。通常，內(nèi)容特征向量使用Block4、Block5提取，風格特征向量使用Blockl、Block2、Block3提取。因此，為提取絲巾花型圖案風格全局特征本文使用Blockl、Block2、Block3提取特征向量。

2.2基于slFr算法的局部特征提取

尺度不變特征變換（Scale-invariant Feature Transform，SIFT）是一種用于計算機視覺和圖像處理的局部特征提取算法，用于檢測和描述圖像中的局部特征。該算法的主要優(yōu)點是能夠提取出穩(wěn)定、具有代表性的特征點。用SIFT提取圖像局部特征具有較強的穩(wěn)定性和魯棒性。SIFT局部特征向量提取流程如圖5所示。

SIFT算法主要有4個關鍵步驟，分別是尺度空間極值檢測、特征點定位、特征方向分配及賦值和特征點描述。

在SIFT中，最重要的兩個步驟是特征方向賦值與特征點描述。首先，對特征點方向賦值，利用特征點及其周圍像素的梯度分布特性，確定特征方向參數(shù)；其次，利用圖像的梯度直方圖求取特征點具有穩(wěn)定方向的局部結構信息，得到特征點的詳細描述后，就能計算出該特征點的尺度信息σ，隨后就能得到特征點所在的尺度圖像；最后，以特征點為中心、以（3×1.5σ）²為半徑計算區(qū)域圖像的幅值與幅角，每個特征點L（x，y）的方向θ（x，y）及模m（x，y）可用公式（1）和公式（2）計算：

其中：x、y分別是特征點的橫坐標和縱坐標，L（x，y）是局部特征的尺度空間。

在計算出梯度方向后，要利用梯度直方圖表示特征點周圍像素的對應梯度幅值與方向。直方圖的橫坐標代表梯度方向的角度，縱坐標代表梯度方向所對應梯度幅值的累加，特征點的主方向為直方圖的峰值。通過直方圖得到特征點的主方向，進而可以得到每個特征點的3個屬性（x，y，σ，θ），即坐標位置、方向及尺度。

局部特征點如圖6所示，直方圖以特征點的主方向為中心，取8×8的鄰域窗口。在這個窗口中，中央位置是當前特征點的位置，每個小格代表特征點鄰域中的一個像素。首先，對每個像素的梯度幅值和方向求值，梯度方向用箭頭表示，梯度幅值是箭頭的長度，用高斯窗口對特征點及其鄰域像素進行加權運算；其次，在每個4×4的小塊上計算出梯度直方圖的8個方向；最后，累加每個梯度方向的值，得到一個種子點。這樣，4個種子點組成一個特征點，每個種子點都含有8個方向的特征向量信息。

128維SIFT局部特征向量如圖7所示。圖7中，每個種子區(qū)域的梯度直方圖在0～360°范圍內(nèi)劃分為8個方向區(qū)間，每個區(qū)間寬度為45°，即每個種子點有8個方向的梯度強度信息。為了增強匹配的穩(wěn)健性，使用4×4共16個種子點描述每個特征點。這樣，每個關鍵點就會得到一個128維的SIFT局部特征向量，隨后將特征點周圍的像素進行分塊處理，并計算塊內(nèi)的梯度直方圖。通過這種方式，可以得到獨特的局部特征向量，這個向量是該區(qū)域圖像局部特征信息的一種抽象表示，具有唯一性。

通過SIFT對局部特征進行提取，可以對除絲巾全局風格之外的如花型、花簇、動物、植物、花邊、幾何圖形等局部風格特征進行提取，進而進一步提升風格分類的可行性與準確性。部分SIFT局部特征提取示例展示如圖8所示。

2.3特征融合的絲巾花型圖案風格分類

特征融合的絲巾花型圖案風格分類流程如圖9所示。首先采用VGG19模型提取絲巾的全局風格特征，用SIFT算法提取絲巾的局部特征；其次進行特征向量歸一化和特征融合；最后進行模型訓練，完成絲巾圖風格分類任務。

全局風格特征通常指的是整個絲巾圖案的整體特征，例如顏色分布、紋理特征、形狀等。這些特征描述了絲巾的整體風格和特點，對于區(qū)分不同風格的絲巾具有重要的作用。取值范圍隨提取模型卷積層深度的變化而有所不同。相比之下，局部特征則關注絲巾圖案中局部區(qū)域的特征，例如關鍵點、邊緣、紋理局部描述等。這些特征通常用于描述絲巾上的具體花紋、圖案或細節(jié)，為區(qū)分絲巾的局部細節(jié)圖案與樣式提供了重要補充。取值范圍與特征向量和梯度方向有關。

由于全局風格特征和局部特征描述了不同層面的信息，它們的物理含義和取值范圍存在差異，不能直接將它們疊加，因此需要采用合適的融合方法，如加權求和、特征拼接、特征降維等，將它們有機整合為一個更全面的特征表示，進而更好地進行特征融合的絲巾花型圖案風格分類任務。通過合理地融合全局風格特征和局部特征，可以充分利用各自的優(yōu)勢，提高絲巾花型圖案風格分類的準確性。

對于VGG19，采用卷積層作為輸入層。在兩個網(wǎng)絡的FC7輸出層上執(zhí)行激活函數(shù)以提取深度CNN（Convolutional Neural Networks）特征。輸出層FC7的深度CNN特征的大小是1×4096。對特征進行2×2的最大池化，以消除噪聲影響并選擇給定濾波器的最大值特征。經(jīng)過最大池化后，得到大小為1×2048的新特征向量，并通過熵控制的特征約簡方法保留圖像的主要特征，使用雷尼熵（Renyi Entropy）對特征進行融合。

雷尼熵是信息論領域的一個重要概念，由匈牙利數(shù)學家Alfred Renyi在熵的理論研究中提出，用于衡量一個隨機變量的不確定性或信息量。雷尼熵在信息論、統(tǒng)計學、機器學習等領域有著廣泛的應用，它可以用于衡量數(shù)據(jù)的不確定性以及信息壓縮、分類問題中的不確定性度量等。根據(jù)具體的應用場景和問題需求，可以選擇適當?shù)摩林涤嬎憷啄犰?。在特征融合中，常用雷尼熵對不同尺度的特征向量進行融合。

在絲巾花型風格分類中，精確率、召回率、F1分數(shù)及總體準確率可以幫助評估模型的性能。對于不同風格的絲巾花型，通過各分類的精確率、準確率和F1分數(shù)以及總體準確率，可以評估各個模型與本文所提方法的優(yōu)劣，從而揭示它們的優(yōu)勢與不足。

3.2實驗結果

本文的實驗中，首先從60000張絲巾花型生成數(shù)據(jù)集中，隨機選取6000張絲巾圖案作為訓練集，用風格遷移模型提取絲巾圖全局風格特征，用SIFT算法提取絲巾圖局部特征進行訓練。隨后，隨機選取6000張絲巾花型圖作為測試集，以驗證本文分類方法的有效性。實驗評估標準包括精確率、召回率、F1分數(shù)及總體準確率，用于驗證本文分類方法的可行性。實驗結果見表2。

由表2中的數(shù)據(jù)可知，本文提出的基于特征融合的絲巾花型圖案風格分類方法在6000張絲巾花型數(shù)據(jù)集中的風格分類任務中表現(xiàn)優(yōu)異，特別是在中國風和復古風的分類上，該方法取得了極高的精確率，分別為99.70%和99.42%，表明中國風、復古風絲巾無論是在全局風格特征還是在局部特征上均展現(xiàn)出較好的穩(wěn)定性；在歐美風和田園風分類上有較高的召回率，分別為96.60%和95.60%，表明較大部分歐美風和田園風的絲巾都能被成功分類；總體準確率為91.90%，說明本文提出的算法能較好地完成絲巾花型圖案風格分類任務。

由表3中的數(shù)據(jù)可知，本文提出的方法在各類絲巾花型圖案分類的精確率上表現(xiàn)良好，平均精確率達到92.36%，具有較高的平均精確率。這表明本文方法在對絲巾花型進行分類時具有較高的準確性。相比之下，HIST方法在歐美風和復古風這兩種風格的分類上精確率較低，這主要歸因于該方法在處理具有復雜紋理或顏色分布的花型時存在局限性。HOG方法在休閑風和抽象風這兩種風格的分類上表現(xiàn)不佳，原因在于這些類別的絲巾在同一種風格下的紋理特征變化很大，而HOG方法對于花型的形狀和紋理語義的提取能力相對較弱，從而影響了分類的準確率。從總體上看，深度卷積神經(jīng)網(wǎng)絡模型在絲巾花型圖案風格分類任務上的表現(xiàn)明顯優(yōu)于傳統(tǒng)方法。

為進一步驗證本文提出方法的實用性，本小節(jié)選用了以某品牌為主的1200張實際絲巾產(chǎn)品數(shù)據(jù)集進行分類實驗。本文提出的方法在1200張絲巾花型圖案風格數(shù)據(jù)集分類的分類效果如表4所示。

由表4中的數(shù)據(jù)可知，本文提出的基于特征融合的絲巾花型圖案風格分類方法，在1200張實際絲巾花型產(chǎn)品數(shù)據(jù)集的風格分類任務中，對于中國風、復古風和田園風3種風格的分類效果較好，精確率分別為99.01%、99.42%和99.24%，表明對中國風、復古風、田園風絲巾的風格識別率較高。實驗結果表明，本文提出的方法結合了表征絲巾花型圖案風格的全局特征和表征局部花型特點的局部特征進行分類，有效地提升了絲巾花型圖案風格分類的準確度，展現(xiàn)了其可行性和優(yōu)越性。

4結論（Conclusion）

本文的主要研究對象是絲巾花型圖案。首先，以某些絲巾品牌商品圖構建了絲巾圖數(shù)據(jù)集，采用SDXL模型擴充了絲巾花型數(shù)據(jù)集。其次，提出了一種基于特征融合的絲巾花型圖案風格分類方法。該方法使用風格遷移模型提取絲巾花型圖案的全局風格特征，使用SIFT算法提取能表征絲巾局部細節(jié)的局部特征，并進行特征融合。最后，為了驗證該方法的可行性和實用性，使用其對6000張絲巾花型生成數(shù)據(jù)集和1200張實際絲巾產(chǎn)品花型數(shù)據(jù)集進行分類。

實驗結果表明，通過融合得到的新特征能夠從多個角度對絲巾花型圖案進行評估，具有更好的表達能力和更全面的風格描述能力，有效地提高了風格分類的準確性。與傳統(tǒng)CNN、AlexNet、ResNet50、VGG16等圖像分類方法相比，本文提出方法均取得較好的效果。因此，本文提出的方法具有較好的實用性和通用性。