張建新 黃鋼 李消晉



摘要: 織物光澤作為服裝外觀性能的特性之一,具有重要的研究意義。文章提出多角度織物光澤計算機視覺測試方法,通過數字圖像處理技術提取光澤特征,運用隨機森林回歸模型并結合感官評價結果,進行織物光澤的測試與評價。該方法將計算機視覺應用于織物光澤的測試,可測試不同光照環境下的織物光澤。通過線性擬合分析,表明運用隨機森林回歸模型進行預測的結果,既符合織物光澤測試標準,也與感官評價結果相一致。實驗結果表明,文章所提出的多角度織物光澤計算機視覺測試方法可有效用于織物光澤測試。
關鍵詞: 感官評價;計算機視覺;數字圖像處理技術;特征提取;線性擬合;隨機森林回歸模型
中圖分類號: TS101.8
文獻標志碼: A
文章編號: 10017003(2021)07006207
引用頁碼: 071110
DOI: 10.3969/j.issn.1001-7003.2021.07.010(篇序)
Research on measuring method of fabric luster based on computer vision
ZHANG Jianxin, HUANG Gang, LI Xiaojin
(Faculty of Mechanical Engineering & Automation, Zhejiang Sci-Tech University, Hangzhou 310018, China)
Abstract: As one of the important characteristics of garment appearance, fabric luster is of great significance for study. The paper has proposed a multi-angle computer vision test method for fabric luster. The features of fabric luster were extracted through digital image processing technology, and the fabric luster was tested and evaluated by using Random Forest regression model combined with sensory evaluation results. This method has applied computer vision to fabric luster test, which can test fabric luster under different lighting environments. Through linear fitting analysis, it has been shown that the prediction results using the Random Forest regression model not only met the standard of fabric luster test, but also corresponded to the sensory evaluation results. The experimental results have shown that the multi-angle computer vision method proposed in this paper can be used effectively for the test of fabric luster.
Key words: sensory evaluation; computer vision; digital image processing technology; feature extraction; linear fitting; Random Forest regression model
收稿日期: 20210130;
修回日期: 20210618
基金項目: 國家自然科學基金項目(U1609205)
作者簡介: 張建新(1972),男,教授,主要從事紡織測試儀器的研究。
紡織品是人們日常生活中的必需品,一直占據著十分重要的地位。紡織品作為商品時,其視覺風格和觸覺風格是消費者購買時的兩項重要指標,而織物光澤是視覺風格的重要組成部分之一。織物光澤性能測試方法的研究和改進對服裝面料的選擇和設計有著重要的指導意義。
在物理學上解釋,織物光澤是由表面反射光、內部反射光及投射光共同決定的結果[1]。目前,織物光澤理論主要包括內外差異理論和方向差異理論,其中方向差異理論更看重不同方向反射光而造成的光澤效果,而內外差異理論則更看重表面與內部的反射光差異。目前,織物光澤測試方法主要分為感官評價法和儀器評價法。在織物光澤性能測試方法研究的初期,主要依靠人的感官評價。但感官評價法僅依賴人的主觀感受對織物光澤進行評價,一定程度上受環境因素、心理因素及生理因素等的干擾,具有一定的局限性。因此,織物光澤評價方法逐漸發展為儀器測試法。儀器測試法主要包括對比度光澤測試[2]、二維對比度光澤法[3]、變角光度儀測試法[4]等。隨著計算機圖像處理技術的成熟與發展,應用計算機視覺對織物光澤性能進行評價變為可能[5]。如申悅[6]通過CCD相機采集織物表面圖像,并通過數字圖像處理技術處理原始圖像,提取與織物光澤相關的各類評價特征,最后建立Hopfield神經網絡輸入輸出模型來評價織物光澤。但由于測試角度單一,且不貼合人的主觀視覺感受,需要進一步的研究與完善。針對目前織物光澤測試方法的缺點與不足,提出一種多角度織物光澤計算機視覺測試方法來評價織物光澤,具有一定的研究意義。
本文的主要目的是研究一種多角度織物光澤計算機視覺測試方法來評價織物光澤性能。通過自主搭建的計算機視覺測試平臺去采集不同光照環境下的織物表面圖像,利用數字圖像處理技術提取相關光澤評價特征,在光澤評價特征的基礎上結合人的感官評價結果,建立隨機森林回歸模型來對織物光澤進行評價和預測。
1 織物光澤評價方法
1.1 多角度織物光澤視覺測試方法
1.1.1 多角度織物光澤計算機視覺測試平臺
自主搭建多角度織物光澤計算機視覺測試平臺,該計算機視覺測試平臺主要部分包括CCD相機單元(DFK 23G274,The Imaging Source Co., Ltd., 中國臺灣)、工業鏡頭、LED光源(LTS-HSL15058,Lighting & Optics Tech Specialist Co., Ltd., 廣東)、光源控制器、角度旋轉單元、計算機、暗箱及控制軟件等。其中相機高達20幀速率,1 600×1 200像素,附帶高敏感度的Sony IC單元。測試平臺整體結構如圖1所示。
1.1.2 圖像采集與預處理
計算機視覺測試方法的第一步是采集織物圖像。由于工業鏡頭的畸變等不可避免的因素,在圖像采集之前,需要對相機進行標定[7]。在相機標定完成后,采集一定光照環境下的試樣。針對測試平臺采集到的試樣圖像,為了去除圖像中的無關信息,通過興趣區域選擇、灰度化和濾波對圖像進行預處理。興趣區域選擇是為了去除背景信息的干擾,灰度化是后續圖像處理過程的第一步,圖像濾波是去除原始圖像中的噪聲干擾。經過對比分析可知,灰度化方法選用加權平均法能明顯地反映各像素點灰度差異,濾波選用中值濾波能較好地去除噪聲帶來的干擾,如圖2所示。
多角度織物光澤計算機視覺測試平臺具體測量過程如下:
1)將長寬均為20 cm試樣放入載物臺中間,并對試樣進行預處理,保證試樣表面平整;
2)選定光源角度,光源角度可選30°、45°和60°,在選定光照環境下,采集原始織物圖像;
3)對采集到的圖像進行預處理,其中包括興趣區域選擇、灰度化、濾波處理等,隨后對其進行圖像處理提取光澤評價特征;
4)在Matlab 2018b的工作環境下,結合感官評價結果,運用隨機森林回歸模型,將結果以txt文件形式保存,并通過屏幕顯示評價結果(圖3)。
1.1.3 評價特征構建
通過數學的機制來處理復雜現象的理解問題,即將物體及其性質抽象為形式化的數學模型,模型由一組相對少的參數來表示,一般可以從圖像信息數據中得到[8]。織物光澤性能在客觀上表示為織物本身的固有屬性,受光照環境的影響,與顏色也存在著相互影響關系。綜上可以認定,通過數字圖像處理技術從織物圖像上提取有關灰度[9]、色彩[10]、紋理[11]等方面的評價特征,能建立對應的數學模型來量化織物的光澤性能。
1)顏色特征。織物顏色是織物光澤的影響因素之一,反過來說,織物光澤也是織物顏色的影響因素之一,兩者之間存在著相輔相成的關系。計算機視覺測試平臺通過相機采集到織物RGB三個通道組成的圖像,RGB顏色空間是三種基本色的疊加,但由于人眼對于三色的敏感程度不一樣,不能合理地描述顏色特征。相比RGB顏色空間,Lab顏色空間更符合人類的視覺感應。通過顏色空間轉換將圖像從RGB顏色空間轉換到Lab顏色空間,并構建顏色均方差Cu,即織物圖像像素點顏色信息值的均方差,反映織物表面的顏色信息,如下式所示。
Cu=∑ni=1∑mj=1(aa-aij)2+(ba-bij)2+(La-Lij)2n×m(1)
式中:aa、ba、La分別是圖像中所有像素Lab顏色空間三要素的平均值,aij、bij、Lij對應圖像中第i行j列像素點的Lab顏色
空間三要素的值。
2)灰度特征。在灰度世界中,不包含顏色信息,灰度值反映圖像亮度信息,取值是從0~256。通過所采集的圖像灰度值的分布和變化構建灰度特征,能反映織物樣本平均亮度信息的灰度平均值Ga、反映亮度變化程度信息的灰度極差值Gd及反映織物反射光強分布均勻度的灰度均勻度Gu。
灰度平均值Ga:所采集織物圖像中所有像素點的灰度值的平均值,描述織物表面的平均亮度,反映織物表面的光強信息。
Ga=∑mi=1∑nj=1Gijm×n(2)
式中:Gij表示第i行j列像素點的灰度值;m表示像素點的行數;n表示像素點的列數。
灰度極差值Gd:織物圖像灰度值最大值與最小值之間的差值,描述織物反射光強的變化范圍,反映圖像表面亮度變化的劇烈程度。
Gd=Gmax-Gmin(3)
式中:Gmax表示圖像所有像素點灰度最大值前15位的平均值,Gmin表示圖像所有像素點灰度最小值前15位的平均值,這里取前15位是為了數據盡可能的準確。
Gmax=∑15i=1maxini∑15i=1ni,Gmin=∑15i=1minini∑15i=1ni(4)
式中:maxi表示第i大的灰度值;mini表示第i小的灰度值;ni表示相應的灰度值的個數。
灰度均勻度Gu:織物圖像所有像素點的灰度值的均方差,描述織物反射光強的分布均勻程度。
Gu=∑ni=1∑mj=1(Ga-Gij)2n×m(5)
3)紋理特征。圖像紋理描述圖像中重復出現的局部規則和排列規則,反映物體表面特性,同時與光照環境及反射情況有一定的關系。弱紋理的基元之間在空間上的相互作用較小,強紋理基元間的空間相互作用是有某種規律的[12]。強弱紋理在織物圖像中具體表現為強紋理的圖像視覺效果清晰,對比度較大,弱紋理的圖像視覺效果模糊,對比度較小[13]。通過描述圖像像素點之間的空間灰度關系的灰度共生矩陣,來構建能量ASM、對比度CON和相關性COR作為織物圖像的紋理特征,分別描述織物圖像的紋理粗細程度、視覺效果及局部灰度相關性。為了方便計算,灰度級壓縮為16級,灰度共生矩陣的滑動串口選擇5×5,步距設置為1,方向選擇0°、45°、90°、135°,對四個方向的特征取平均值,如下式所示。
ASM=∑ki=1∑kj=1(Gij)2(6)
CON=∑k-1n=0n2∑|i-j=n|Gij(7)
COR=∑ki=1∑kj=1(ij)G(i,j)-uiujSiSj(8)
式中:Gij是所建立的灰度共生矩陣中第i行第j列的值,k是建立灰度共生矩陣時的灰度級,ui、uj、Si、Sj的計算如下式所示。
ui=∑ki=1∑kj=1i×Gij(9)
uj=∑ki=1∑kj=1j×Gij(10)
Si=∑ki=1∑kj=1(i-ui)2×Gij(11)
Sj=∑ki=1∑kj=1(j-uj)2×Gij(12)
1.1.4 隨機森林回歸模型
隨機森林屬于集成學習類算法,是通過將多個弱學習模型打包組成一個強學習模型,多個弱學習模型之間相互獨立。隨機森林選擇決策樹作為弱學習模型,強學習模型比弱學習模型的預測結果更為精確[14]。隨機森林回歸模型可以建立若干自變量與因變量之間的復雜非線性關系,假設有n個織物樣本,k個與織物光澤相關的評價特征。在構建回歸樹的過程中,通過Bootstrap抽樣法從n個織物樣本隨機抽取m個子樣本,隨機選擇其中mtry個特征建立m個決策樹模型。每次構建的決策樹模型都可能因為隨機性而不同,通常能隨機地生成幾百甚至幾千棵分類樹,從中選擇重復度最高的樹作為最終結果[15]。隨機森林回歸模型的預測結果是m個決策樹結果的平均值,流程如下:
1)從具有n個樣本的原始樣本集中有放回地隨機抽取m個樣本構造m個子樣本集,通過訓練m個子樣本集,構建m棵回歸樹,其中未抽取的樣本作測試集,驗證模型性能。
2)設定回歸模型參數mtry,假設織物樣本有k個評價特征,隨機選擇mtry個(mtry 3)每顆回歸樹通過設定樹棵數ntree值來作為回歸樹生長的終止條件,訓練結束生成的m棵回歸樹組合成隨機森林回歸模型,取m棵回歸樹訓練結果的算術平均值作為最終模型輸出。 隨機森林預測模型如圖4所示。 假設測試集的樣本數為q,模型的預測效果通過測試集均方誤差MSE及決定系數R2來衡量,如下式所示。 MSE=∑qi=1(yi-y′i)2q(13) R2=1-MSEY2(14) 式中:yi表示測試集中測試樣本的真實值,yi′表示回歸模型的預測值,Y2表示預測值的方差,q為測試集的樣本數。 1.2 測試標準 測試標準即光澤對比度測試法,是按照現行紡織測試標準FZ/T 01097—2006《織物光澤測試方法》進行的,作為測試標準與本文提出的方法進行比較。測試儀器為YG268高精度測試儀(3nh Technology Co., Ltd., 深圳)。測試原理(圖5):光源以60°的入射角度照射在織物樣本上,隨后在60°和30°與樣本相同距離的位置上,通過光電傳感器檢測正反射光與漫反射光,經由光電轉換器得到相應數字量,最后通過比較電路得出織物光澤的數值。 織物光澤計算如下式所示。 GC=GSGC-GR(15) 式中:GC為織物光澤度;GS為織物正反射光強度;GR為織物正反射光強度與漫反射光強度之差。 1.3 感官評價法 感官評價法是指在一定的光照環境下,評價人員通過視覺等對織物作出織物光澤等級的描述或劃分。在感官評價開始前,為了確保評價人員能夠給出合理的評價結果,應對評價人員進行認知上的訓練,保證評價人員對織物光澤的認知一致。通過研究織物感官評價語言描述結果與客觀評價結果的相互聯系,建立了語言描述和量化等級相結合的感官評價(表1[16])。感官評價法在表1的基礎上進行,實驗光源采用標準LED光源,色溫5 500 K,評價人員在溫濕度適宜且密閉的實驗室環境內進行,評價人員視角在織物正上方,記錄人員根據評價等級記錄評價結果。 2 實驗與分析 本文選擇純棉織物作為實驗試樣,在實驗進行之前對所有面料進行低溫熨燙處理,確保表面平整,隨后將試樣在室溫24 ℃、濕度65%環境靜置24 h后裁剪成長寬均為20 cm的試樣備用。各織物試樣參數見表2。 2.1 實驗結果 2.1.1 感官評價結果 如表1所示,根據人類視覺的反映,把試樣分為8類,建立語言描述與量化等級的對應關系。在確保不同光照環境下光源與試樣的距離保持不變的情況下,進行不同光照角度的感官評價實驗,照射角度分別為30°、45°和60°。16位評價人員依次對織物試樣進行評價,剔除異常數據,平均結果保留兩位有效數字,感官實驗結果如表3所示。 2.1.2 標準測試結果 本實驗目的是與本文提出的方法進行對比,驗證該方法與測試標準結果是否具有一致性。方法測試流程如下:1)將儀器放置在密閉環境下,并在實驗前校準儀器;2)將樣本按順時針旋轉60°,并將測試面朝外,使其位于測試端;3)根據儀器測試結果,讀取GS最大值及其GR值,并根據計算公式計算織物光澤,實驗數據見表4。 2.1.3 多角度織物光澤測試結果 根據多角度織物光澤視覺測試方法,采集在30°、45°、60°光源照射角度下的織物圖像,經過預處理及數字圖像處理構建灰度特征灰度平均值Ga、灰度極差值Gd、灰度均勻度Gu,計算顏色特征顏色均方差Cu,將紋理特征能量ASM、對比度CON和相關性COR作為隨機森林回歸模型中的評價特征。原始織物樣本集為48個,取2/3作為訓練集,1/3作為測試集,結合感官評價結果,建立隨機森林回歸模型。 隨機森林模型有兩個重要的參數,一是回歸樹的參數ntree,對應子決策樹棵樹m;二是確定回歸樹分枝的評價特征的個數mtry,是回歸樹從輸入評價特征中隨機選取的確定分枝的評價特征個數。ntree決定了森林的大小,是隨機森林中回歸樹生長終止的條件,ntree不宜過大,過大模型訓練時間較長,訓練效率較低,也不宜過小,過小導致訓練結果誤差較大,模型預測精度較低。mtry值的選擇能提升模型的泛化能力,與織物光澤的評價特征集有關,一般取原始織物光澤評價特征集的1/3,即有放回地從原始織物光澤特征集中抽取評價特征組成新的評價特征集作為回歸數的輸入特征進行訓練。經過隨機森林回歸模型的參數分析,隨機森林回歸模型參數選擇ntree為500,mtry為原始織物光澤特征的1/3,建立織物光澤隨機森林回歸模型,模型預測結果如表5所示。 由表5數據可知,該模型的評價指標R2為0.93,表明模型預測效果較好,能有效用于織物光澤性能的預測與評價。 2.2 驗證與分析 將測試標準對比度光澤測試結果與感官評價結果相比較,驗證兩者間的一致性,比較結果如圖6所示。 決定系數R2的取值在(0,1),越接近1擬合程度越高。上述線性擬合曲線的R2為0.896,Pearson系數為0.946,擬合效果較差,這表明測試標準與感官評價結果的一致性較差。為了驗證多角度織物光澤計算機視覺測試方法與標準測試結果的一致性,本文將織物光澤隨機森林回歸模型的預測結果與測試標準結果進行一致性驗證,確定兩者結果間的一致性,比較結果如圖7所示。 該線性擬合曲線的R2是0.977,這表明多角度光澤測試方法和測試標準結果擬合程度較高。同時該擬合曲線的Pearson相關系數是0.988,也表明兩種方法的評價結果具有良好的映射關系。綜上可以認為,多角度計算機視覺測試方法與標準測試方法的評價結果具有良好的一致性,且貼合感官評價的量化結果,證明了該方法的優越性。 運用織物光澤隨機森林回歸模型對不同光源入射角度下的織物的光澤性能進行預測,預測結果如表6所示。 織物由于自身組織結構等,對光的反射是織物的固有屬性,織物光澤是由不同方向反射光刺激人眼產生的光澤效應,因此不同入射角度下織物反映的光澤性能也有不同。由表6數據可知,光源不同入射角度下的織物光澤性能不一,具體表現為60°入射角度下的織物光澤性能強于45°入射角度下的織物光澤性能,隨著入射角度的較小,織物表現出的光澤性能減弱。 3 結 語 本文提出了一種多角度織物光澤計算機視覺測試方法,通過圖像處理技術構建織物光澤評價特征,并結合隨機森林算法,建立了隨機森林回歸模型。該方法通過建立的隨機森林回歸模型,能有效預測不同光照角度下的織物光澤性能。相比測試標準,通過計算機視覺的方式采集織物表面信息,樣 本信息更為豐富和全面。驗證結果表明,該方法建立的回歸模型預測性能較好,可用于織物光澤的性能評價。隨機森林回歸模型將感官評價結果與計算機視覺測試方法相結合,既與標準測試結果具有良好的一致性,也與感官評價結果相一致。但是,預測模型的部分預測值也與實際值有一定誤差,在后續研究中,將在該測試方法的基礎上,調整和優化模型的參數,使其預測效果更加精確。 參考文獻: [1]姚穆, 呂明哲, 蔣素禪. 紡織品光澤評定的研究[J]. 西北紡織工學院學報, 1991, 10(2): 84-90. YAO Mu, L Mingzhe, JIANG Suchan. A study of evaluation of fabric lustre[J]. Journal of Northwest Textile Institute, 1991, 10(2): 84-90. [2]李汝勤, 宋鈞才. 纖維和紡織品測試技術[M]. 3版. 上海: 東華大學出版社, 2009: 29-36. LI Ruqin, SONG Juncai. Fiber and Textile Testing Technology[M]. 3th Ed. Shanghai: Donghua University Press, 2009: 29-36. [3]MEHDI H, DARIUSH S, MOHAMMAD S. A new method for mearsuring luster index based on image processing[J]. Textile Research Journal, 2010, 80(8): 65-69. [4]申悅, 謝莉青. 織物光澤測試技術研究現狀與展望[J]. 紡織科技進展, 2017, 9(3): 5-9. SHEN Yue, XIE Liqing. Research status and prospect of the testing technology of fabric luster[J]. Progress in Textile Technology, 2017, 9(3): 5-9. [5]禹晶, 孫衛東, 肖創柏. 數字圖像處理[M]. 2版. 北京: 機械工業出版社, 2015: 278-294. YU Jing, SUN Weidong, XIAO Chuangbo. Digital Image Processingm[M]. 2nd Ed. Beijing: China Machine Press, 2015: 278-294. [6]申悅. 織物光澤的計算機視覺評價研究[D]. 青島: 青島大學, 2018: 12-91. SHEN Yue. Research on Computer Vision Evaluation of Fabric Gloss[D]. Qingdao: Qingdao University, 2018: 12-91. [7]劉靜, 莊梅玲, 石歷麗, 等. 基于紋理平滑和GrabCut的皮影圖案輪廓的智能提取[J]. 絲綢, 2020, 57(11): 20-23. LIU Jing, ZHUANG Meiling, SHI Lili, et al. Intelligent contour extraction of shadow patterns based on texture smoothing and GrabCut[J]. Journal of Silk, 2020, 57(11): 20-23. [8]于海鵬. 基于數字圖像學的木材紋理定量化研究[D]. 沈陽: 東北林業大學, 2008: 27-35. YU Haipeng. Quantitation of Wood Texture by Digital Image Processing[D]. Shenyang: Northeast Forestry University, 2008: 27-35. [9]劉哲. 基于圖像分析的織物外觀質量綜合評價[J]. 紡織學報, 2012, 33(11): 62-66. LIU Zhe. Comprehensive evaluation of appearance quality of fabrics based on image analysis[J]. Journal of Textile Reasearch, 2012, 33(11): 62-66. [10]李靜. 織物表面紋理特征與光澤對主觀顏色的影響[D]. 杭州: 浙江理工大學, 2013: 17-23. LI Jing. Influence of Fabric Surface Texture Characteristic and Gloss on Subjective Color[D]. Hangzhou: Zhejiang Sci-Tech University, 2013: 17-23. [11]張麗. 基于顏色和紋理特征的圖像檢索技術研究[D]. 南京: 南京郵電大學, 2017: 6-18. ZHANG Li. Research on Color-Based and Texture-Based Image Retrieval Algorithm[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2017: 6-18. [12]單洪波, 王世偉, 戚大偉, 等. 基于灰度共生矩陣和模糊BP神經網絡的木材缺陷識別[J]. 森林工程, 2017, 33(4): 40-43. SHAN Hongbo, WANG Shiwei, QI Dawei, et al. Wood defects recognition based on gray-level co-occurrence matrix and fuzzy BP neutral network[J]. Progress in Textile Technology, 2017, 30(4): 40-43. [13]陳燕芹, 段錦, 祝勇, 等. 基于紋理特征的圖像復雜度研究[J]. 中國光學, 2015, 8(3): 408-413. CHEN Yanqin, DUAN Jin, ZHU Yong, et al. Research on the image complexity based on texture features[J]. Chinese Optics, 2015, 8(3): 408-413. [14]謝樺, 陳俊星, 郭志星, 等. 基于隨機森林算法的架空輸電線路狀態評價方法[J]. 現代電力, 2020, 37(6): 562-564. XIE Hua, CHEN Junxing, GUO Zhixing, et al. Condition evaluation method of overhead transmission line based on random forest algorithm[J]. Modern Electric Power, 2020, 37(6): 562-564. [15]唐蓉. 基于隨機森林回歸的青年人體質影響因素研究[D]. 南昌: 華東交通大學, 2016: 28-36. TANG Rong. Research on Influence Factors of Young People Physical Fitness Based on Random Forest Regression[D]. Nanchang: East China Jiaotong University, 2016: 28-36. [16]GUNDOLA M, KISTAMAH N. Development of a fabric luster scale[J]. University of Mauritius Research Journal, 2007, 13(1): 155-162.