基于圖像的織物圖案和顏色主題提取研究進展

趙崧靈, 徐凱憶, 張 健, 顧冰菲,b,c

(浙江理工大學 a.服裝學院; b.浙江省服裝工程技術研究中心; c.絲綢文化傳承與產品設計數字化技術文化和旅游部重點實驗室,杭州 310018)

近年來,部分快消時尚品牌已通過數字化手段讓消費者進行面料、款式及顏色線上自主設計,實現服裝的個性化定制。2018年,范思(Vans)上線Customs自由定制鞋平臺,消費者既可以在線選擇材質、顏色、圖案進行生產,也可以上傳自己的照片進行自由定制,設計過程中在網頁同步進行3D虛擬仿真展示[1]。2019年,李維斯(Levi’s)推出Future finish牛仔褲線上定制平臺,數據庫中提供一定的顏色、圖案供消費者選擇,同時可添加水洗、磨蝕等不同的工藝效果,打造專屬于用戶的個性化褲裝設計[2]。數字化個性定制平臺的出現與更新,極大推動了定制服務的發展。面料是服裝設計的重要載體[3],同時織物圖案及色彩搭配作為重要的視覺特征,成為面料數字化設計中不可或缺的設計元素?？椢飯D案多為裝飾性紋樣且實現手法多樣,通過不同的排列組合可形成風格迥異的織物。而色彩作為最直觀的視覺特征通常會影響最終效果,掌握色彩搭配規律使設計達到調和是設計師不斷學習研究的一大課題[4]。

由于傳統的人工設計存在步驟繁瑣、制作周期長、生產效率低等問題,從已有的織物圖像中汲取適當元素并將其創新應用不失為一種有效的設計途徑,借助計算機技術手段可有效提高提取速度及精確度。通過對織物圖案及色彩的自動提取,既可以對傳統織物建立數據庫,實現文化傳承及保護再造,并與現代文化深入融合使其煥發新的生機;也可快速捕獲當下的流行趨勢或對消費者進行信息采集,了解客戶喜愛偏好、提升設計生產的效率、提高用戶滿意度。目前已有一些成熟的圖案及色彩提取的應用軟件,如利用Photoshop等圖形圖像處理軟件可以實現圖案框選、色彩吸取等處理,但大多需要人工交互且對于精細圖案的操作門檻較高。Remove.bg[5]在線摳圖網站或Colorcube色彩分析軟件均可實現對圖片中圖案或色彩的自動提取,對于人物、商品圖等主體突出的圖像效果較好,但對織物圖像的處理會受織物紋樣精細、邊緣模糊、與背景顏色相似等問題的影響,提取效果不佳。Fabric3D是專門針對織物圖案設計的軟件,提供圖案提取換色功能,同樣是對于色彩數量較少、圖案清晰的平面設計圖案具有更好的效果。然而現有圖案及色彩提取軟件對織物圖案處理仍存在一些不足,如自動分割不精細、人工操作步驟繁雜、無法與后續應用自動關聯等,使得整個設計的過程缺乏連貫性。因此,相關學者仍在不斷探究、優化計算機技術提取織物圖案及顏色主題的方法,提高圖案分割及顏色提取的準確性,使其可應用于實際生產中。

本文從“織物再設計”的角度簡單梳理“織物-織物”設計流程,重點對織物圖案形狀及顏色主題的提取方法進行總結。通過實例比較不同算法的特點,再對部分融合算法應用實例進行簡要分析,最后對織物再設計的應用發展進行展望。

1 織物再設計實現流程

“織物-織物”再設計流程是從已有織物中獲取靈感和設計元素,在此基礎上進行二次設計獲得全新設計圖案的過程。設計者根據需要對原有的設計進行再加工,改變原有圖案的形狀大小、顏色、排列組合等設計要素。主要流程總體可以分為圖像預處理、織物圖案提取、顏色主題提取、設計重用4個步驟,如圖1所示。

圖1 “織物-織物”再設計一般流程Fig.1 General process of "fabric-fabric" redesign

在織物圖像預處理階段,主要包括圖像平滑及顏色空間轉換。由于經緯線交織會使織物圖像產生一定的紋理噪聲,通常采用保邊平滑處理消除紗線結構的干擾[6]。織物圖像常用的平滑處理的方式有中值濾波[7-8]、均值漂移濾波[9-10]、引導濾波[11]、雙邊濾波[12]、各向異性擴散模型[13]、結構提取算法[14-15]等,這些方法都能較好地保持圖案原有的邊緣。待處理對象若為彩色圖像時,進行分割處理與顏色主題提取都會涉及色彩空間,一般在預處理時根據需要進行色彩空間轉換。表1簡要概括了三種在織物圖像處理中常用色彩空間的優缺點及主要應用場景。

表1 三個常用色彩空間主要特點及應用場景Tab.1 Main features and application scenarios of three commonly used color spaces

第二階段是織物圖案形狀及顏色主題提取,為設計重用階段提供二次設計的素材。圖案形狀提取是指對圖案輪廓或圖案區域整體提取,利用織物圖像的底層視覺特征采用不同方法得到再設計對象,通常是去除原圖像背景或其他不需要的元素,將獲得的圖案進行存儲并建立數據庫,便于二次設計。顏色主題提取的主要目的是建立已有設計中所蘊含的色彩規律,而后將其應用于需要改變的對象當中。一幅圖像的色彩數量通常會超過人眼所能判斷的極限,對顏色主題的提取可以理解為是一個顏色量化的過程。顏色量化算法常用于減少圖像的儲存空間,將顏色數量減少到一定范圍內再進行下一步分析應用[4]。在整個設計流程中,織物圖案及顏色主題提取是非常重要的兩個環節,同時也是本文整理的重點。

設計重用是流程的最后一個階段,可對前序工作中提取到的圖案或色彩進行客觀數據分析,找尋其中的設計規律[16]。針對提取的圖案,可通過對織物的分割獲得紋樣元素庫,分析圖案的排列骨架,再進行平移、縮放、旋轉等操作,生成新的設計圖案[17]。針對提取的色彩,可采用色彩遷移[18-21]等手段,生成帶有其典型特色且配色和諧的全新織物設計。也可引入交互式遺傳算法[22]、模糊模式識別[4]等評分推薦機制,幫助用戶選擇自己喜歡的色彩搭配及圖案設計效果,最終獲得滿意的結果。通過數字化手段對提取得到的素材進行再應用,能夠在滿足織物設計規則下改變紋樣布局結構或風格,結合當下流行趨勢為用戶提供靈感來源與設計素材,實現快速設計。也可以利用虛擬仿真同步設計方案,在生產中采用數字印花、編織、印染等不同工藝將圖案應用于服裝或其他紡織品中。

2 織物圖案提取

2.1 圖案提取方法概述

近年在織物圖案形狀的分割提取研究中,主要方法有邊緣檢測分割、閾值分割、聚類分割、區域分割及其他特定理論的分割方法[23],通常會根據織物對象與應用目的不同采取最佳的提取算法或對已有算法模型進行改進。

2.1.1 邊緣檢測分割

織物圖案色彩豐富、復雜細膩并且包含許多細節,Canny算子在常見的邊緣檢測算子中最不容易受到噪聲的干擾,能夠檢測到真正的弱邊緣,從而獲得良好的邊緣提取效果,在織物圖像中的應用最為廣泛。文獻[14,24]根據印染織物圖案的特點,在對圖像進行平滑消除紋理及背景干擾紋樣后,采用Canny算子對平滑后的織物圖案進行提取,能獲得完整的圖案紋樣輪廓邊緣,對細節的保留也優于其他邊緣檢測算法,可為后續圖案再設計提供素材。對邊緣的提取也可采用輪廓跟蹤的方法,賈小軍等[25]對藍印花布進行圖案輪廓提取,根據二值圖像的八連通域進行初步處理,之后對其進行擬合優化,獲得印花布的圖案基元并組建圖片庫。雖然邊緣檢測能夠獲得良好的圖案輪廓,但同時也會造成色彩等其他信息的丟失。

2.1.2 閾值分割

閾值分割可將待處理圖像按照某一準則或級別將像素分為不同類別,從而實現不同圖案的分割[20]。邢樂等[26]根據色彩歐氏距離通過大津閾值分割對云肩造型進行提取,將云肩主體圖像與背景分離,通過設定灰度級閾值選擇需要的主體。對于具有強紋理性的編織織物,利用其紋理特征設定閾值可獲得良好的分割效果。張丹等[27]對帶地網經編賈卡織物通過Laws紋理能量測量后選定合適的閾值進行迭代,分割出背景與主體從而得到需要的花紋圖案,而后通過邊緣平滑算法優化分割邊緣,最終得到圖案意匠圖用于產品設計。閾值分割適合于目標與背景灰度差別大的織物圖像,計算簡單耗時短,但對噪聲較為敏感。

2.1.3 聚類分割

聚類分割在織物圖像提取中的應用最為廣泛,主要算法有K-means聚類、模糊聚類、均值漂移聚類,此外也有密度峰聚類算法[11]、自組織映射聚類算法[28-29]等,根據聚類數目對圖像中的像素點進行分類,從而獲得所需的分割區域。K-means聚類是最為經典的聚類方法,李俞霏等[7]對明代斗牛袍實物圖像進行聚類分割,通過樣本幾何結構的緊密度指標選擇織物紋樣的最佳聚類數目,實現不同紋樣的提取,根據結果對明代袍服的紋樣特征進行分析。模糊聚類增加了模糊隸屬度的概念,可對像素點進行更為細致的劃分,Kuo等[30]采用Gustafson-Kessel模糊聚類確定目標函數及距離公式對像素點色值進行分類,建立了一個自動識別系統對刺繡圖像進行分割,在聚類有效性上輪廓指數、分離指數、鄧恩指數都要優于其他聚類算法。均值漂移聚類算法則采用概率密度梯度估計方法,找尋數據點最為密集的聚類中心,Kumah等[31]采用Mean-shift聚類方法對簡單的彩色印花織物圖案進行分割,通過聚類參數調整將像素分組,快速準確地分割出具有相同顏色紋理的圖像,聚類復雜度較低。聚類分割算法簡單、應用廣泛,但也存在初始聚類數目不易確定、易受噪聲干擾、運行時間長、易陷入局部最優等問題,且單獨的聚類算法僅適用于分割同種色彩的圖案。

2.1.4 區域分割

圖像區域分割算法主要包括分裂合并、區域生長等,根據圖像特性將待分類的像素點劃分到不同組別當中進行圖案的分割提取。Luo等[9]通過交互的方式標記圖像背景區域得到過分割的圖像,同時改進傳統的區域生長方法建立區域作用域,根據不同區塊的特性采用最小包圍盒對過分割圖像進行合并,保證幾何圖像的連續性。周慧等[32]以CIEDE2000色差為分割標準采用分水嶺算法對重組織織物彩色圖像進行過分割,再將顏色相近的區域進行合并,最終得到彩色織物索引圖像。Jamil等[33]基于邊緣圖像實現種子點像素的自動選取,而后采用區域生長獲得二值分割圖像。對于部分圖案元素能夠取得良好的效果,但對于某些細長的特殊圖案分割精確度有待提高,并且基于區域的分割多采用迭代的方式,在時間和空間上的開銷都較大。

2.1.5 其他特定分割理論

除以上四類織物圖案提取分割的方法外,小波變換[34]、圖論[9,12]、數學形態學[15,32]、模糊集理論[35]等也是比較常用的分割方法。隨著研究的不斷深入,遺傳算法[36]、神經網絡等深度學習優化方法逐漸加入到織物圖案分割提取算法當中。卷積神經網絡(CNN)的深度學習模型由輸入層、隱含層及輸出層構成,通過卷積計算實現對象特征提取,能夠有效減少機器學習中數據量爆炸的問題,被廣泛應用于圖像處理當中。在紡織服裝領域,目前已經提出了很多改進和集成的神經網絡結構,通過對經典模型改進來提升圖像處理的效果,如表2所示。卷積神經網絡常被用于織物疵點檢測[37]、織物服裝圖像分類檢索[38-41]中,也可用于圖像分割、目標檢測、圖像分類等方面,但存在數據量龐大、處理時間長、特征手工標記繁瑣等問題,處理結果也常受待訓練圖像質量的影響。多樣的分割方式讓研究者在對織物進行分割提取時有更多的選擇,可以根據目的或研究對象的不同選擇對應的方法或對已有的算法進行改進提升。

表2 用于織物分割分類中部分卷積神經網絡結構及改進方法Tab.2 Structure and improvement of convolution neural network for fabric segmentation and classification

2.2 方法綜合分析應用

為更直觀地比較織物圖案形狀提取中常用算法效果的差異,本文通過織物實例對4種基本圖案分割方式的提取效果進行分析。以平滑處理后的織物圖像(圖2(a))為研究對象,圖2(b)中Canny算子獲得了完整的圖案輪廓,但除形狀外的其他信息完全丟失;圖2(c)采用模糊聚類獲得更加清晰的圖案,但作用效果是全局的,無法對特定對象進行提取;圖2(d)采用大津閾值法獲得完整的圖案,有效保留了圖案的顏色及形狀信息;圖2(e)的區域分割合并僅能對部分圖案的外部輪廓進行勾勒,邊緣并不完全貼合于原圖像,僅能獲得大致輪廓位置。以上4種方法對于與背景差異明顯且面積較大的白花具有良好的效果,能夠得到完整的圖案;對于占比較小且僅為線條勾勒的紅花效果并不理想,存在不同程度的信息缺失。在實際應用中可根據需要的效果選擇不同算法,但單一的基礎算法面對不同的對象均有一定的局限性,不易實現通用的圖案分割提取。

圖2 不同圖案形狀提取算法效果對比Fig.2 Comparison of different pattern shape extraction algorithms

3 織物顏色主題提取

3.1 顏色主題提取算法

織物顏色主題提取常采用顏色量化的方式。在已有的研究中,可將色彩量化區分為基于頻度和空間兩種方式?；痉椒ㄓ芯垲?、中位切分、八叉樹、頻度序列、統一顏色量化算法等,其中前三種算法常被用于織物圖像的顏色主題提取中[45]。

3.1.1 聚類提取算法

顏色聚類是一種比較廣泛的使用方法,選擇一定的聚類數目便可獲得圖案的顏色主題。Xu等[18]對色織物紗線色彩采用改進的快速K-means聚類進行提取分析,使用像素點間最遠距離確定聚類中心。部分研究[16,46]采用了多次K-means聚類提取圖像單幅、多幅顏色特征進行分析,從客觀上概括分析實驗對象的主要色彩特征及產生的色彩關聯,并聯系發掘其背后蘊含的文化寓意,對同類型或同風格的織物色彩再設計提供了參考價值。Ouyang等[29]將自適應算法應用于織物顏色主題的分析提取中,根據CIEDE2000色差標準劃定色彩區域實現自動聚類,獲得顏色組及相應的顏色分布圖像,與其他聚類方法相比耗時更短、峰值信噪比高、圖像重建質量好。聚類中心的選擇會直接影響到最終的提取效果,這是聚類方法的難點。

3.1.2 中位切分算法(Median-Cut,MC)

中位切分算法將顏色空間看作一個長方體,根據顏色通道的差值,從色彩立方體最長邊緣的中值進行切割,直到達到預定的顏色數量后進行提取分析。中位切分算法運算速度快且效果較好,陳登凱等[47]采用中位切分算法對民間布老虎顏色進行提取分析,得到最主要的24種顏色。同時得到色彩出現頻率和顏色之間共現關系,確定主色及適配色并將其應用于新的設計中。不過一件設計作品所用到的顏色通常限定在個位數之內,提取24種顏色雖能更好地保留源圖像的色彩但同時也增加了配色時選擇的難度。

3.1.3 八叉樹算法(Octree)

八叉樹是一種用于描述三維空間的樹狀數據結構,常用于將真彩圖像顏色減少到256色以下,算法效率高且只需占用很少的內存。蔡云驤等[48]采用八叉樹和鏈表統計法對圖片顏色進行量化,選擇主色、亮差別色與暗差別色用于制作三色迷彩服。Hu等[17]對土家織錦圖像采用八叉樹進行色彩量化,優化主色提取及色調分布,提出基于主色圖的土家織錦設計方法。李忠明等[49]改進八叉樹顏色量化算法,引入歸并屬性使得在顏色量化過程中始終嚴格按照頻度優先,將其應用于織襪圖案設計中,得到的圖像更接近于原始圖像色彩,取得良好的效果。

3.2 提取算法綜合比較

為更加直觀比較K-means聚類、中位切分、八叉樹三類提取算法對顏色主題的提取效果,本文選用色彩豐富的香云紗面料圖像(像素大小為700 dpi×700 dpi),對同類色(色環差距0～30°)、鄰近色(色環差距30°～60°)、互補色(色環差距60°～120°)、對比色(色環差距120°～180°)4種不同的色彩對比方式進行分析(表3)。三類提取算法提取平均速度均明顯高于手工提取,提取的色卡顏色差距不大且較為準確,但顏色整體飽和度偏低。在對比色圖片中三類算法都無法提取出黃色,可能受原圖中黃色像素占比較低的影響。區別是:K-means聚類提取顏色整體顏色明度較低,顏色較暗;中位切分法耗時明顯優于其他兩種算法,顏色提取效果較好但是會有比較跳脫的顏色出現;八叉樹提取效果良好,但顏色數目不易固定。三種方法各有優劣,可適用于不同的對象。

表3 常用顏色主題提取算法效果比較Tab.3 Comparison of common color-theme extraction algorithms

4 算法融合應用

織物圖案及顏色主題提取方法大多是利用織物圖像的形狀、顏色及紋理底層視覺特征獲得目標對象,其中形狀及顏色特征應用最為廣泛。在常用的織物圖案提取算法中,邊緣檢測、區域分割及特定理論中的圖論、形態學等算法大多是對織物圖案的形狀特征進行分析;而聚類算法則大多是借助顏色特征進行分割,同時聚類算法也是顏色主題提取的主要方法之一。此外,織物的紋理特征通常是需要被平滑掉的信息,但對于賈卡、提花等強紋理織物則可利用紋理強度的區別進行圖案分割。

在實際應用中利用單一特性或采用單一算法會存在局限性。通過前文實例可以發現,圖案形狀的提取在面對復雜的分割條件時,單一算法存在分割不明顯、部分信息丟失等問題;而顏色主題的提取受圖片質量、雜色噪聲的影響,色彩提取的時間和準確性都會有所不同[50]。為獲得更好的提取效果,研究者們會根據不同織物的特點,利用其突出的形狀、顏色或紋理特征將多種算法組合優化,為此本文列舉了部分多特征、多算法融合處理不同織物圖像的研究(表4)。融合算法彌補了單一算法的缺陷,可有效提高圖案分割的效率及精確度。

算法的融合應用也使得織物圖案及顏色主題提取的兩個環節相輔相成,可以相互借鑒應用,為此本文對織物圖案及顏色主題提取特點與主要方法進行了歸納總結(圖3)。在提取的方法上,采用聚類算法及其他模糊集、神經網絡等特定理論,在圖案形狀分割的同時也可提取得到顏色主題。在圖像處理步驟上,圖案形狀提取中借助顏色聚類可獲得更清晰的圖案邊緣;顏色主題的提取結合圖案的形態處理,有效剔除多余的信息使得到的顏色主題更符合預期。不過目前織物圖案形狀及顏色主題提取的處理方法較為集中,中位切分、八叉樹顏色量化等方法的融合應用在織物圖像處理中的應用不甚廣泛。在日后的研究中可以借鑒其他領域研究方法,為織物圖像處理提供廣泛的思路,嘗試更多算法融合的方式,從而獲得更為優質的提取結果。

表4 基于織物底層視覺特征部分算法融合的應用Tab.4 Application of fusion algorithm based on fabric low-level visual features

圖3 織物圖案與顏色主題提取算法及組合應用Fig.3 Fabric pattern and color-theme extraction algorithm and its combined application

5 結 語

本文從織物圖案再設計的角度出發,對從織物圖像輸入到最終設計成果展示的整個設計流程進行梳理,重點對織物圖案形狀及顏色主題的提取方法進行歸納總結,主要結論如下:

1) 提取算法主要依賴于織物圖像底層視覺中形狀及顏色特征,但對于具有較強紋理的織物也可利用其紋理特征進行圖案的分割。

2) 在圖案的分割提取中,邊緣檢測算法可獲得圖案的二值輪廓,而其他分割方法可以獲得完整的圖案區域;顏色主題的提取算法中,三類算法提取的效果都可獲得有效的顏色主題,但三類算法提取的顏色略微有所差別,且都會忽略占比小的顏色。

3) 圖案形狀與顏色主題的提取雖然是兩個應用方向,但也具有共通之處,二者相輔相成,可以在提取方法及圖像處理步驟中相互借鑒應用。但單一算法具有局限性,算法間的相互融合可以利用各自的優勢,大大提高特征提取的有效性。

織物圖像的分割再設計具有很強的應用性,為將其與實際生產相結合,分割提取結果的精確度是關鍵影響因素之一。在未來對設計流程的應用完善中,首先要提高設計元素提取的效率及準確性,如精細圖案邊緣、減小色差、微小細節保留的方法都需要進一步優化。同時,確定圖案的排列方式、自動檢測分割重復圖案的單位元素、圖案矢量化等深入研究能夠使設計更加多樣且能夠提高設計的質量,在提取設計元素的同時建立圖案數據庫來提高效率及利用率。

《絲綢》官網下載

中國知網下載