采用多角度成像技術的紡織品三維輪廓重建算法

孟 想， 辛斌杰， 李佳平

(上海工程技術大學 服裝學院， 上海 201620)

傳統的紡織品外觀檢驗以主觀評判(eye-brain evaluation)作為主要檢測手段，參照AATCC、ASTM、GB等國際和國家紡織類標準，依賴檢驗人員的知識和經驗做出判斷。由于檢驗人員的參與，造成測試結果具有一定的主觀性，且耗費大量時間重復做相同的工作，易導致測試人員疲憊而降低測試效率和準確性[1]。

在“中國智造2025”和“工業4.0”戰略背景下[2]，現代紡織工業正逐步走向自動化與智能化，計算機圖像處理、人工智能等高端科技逐步被應用于紡織品質量檢測，實現紡織品質量的自動檢測與評估，相關工作已成為當前學術研究和應用開發的熱點課題。

本文結合紡織品自身特點，利用多角度成像技術，開發完成1套可用于紡織品外觀檢測的三維輪廓重建系統，通過成像參數優化、算法優化，實現紡織品三維模型的精細重建。其研究意義在于應用計算機視覺技術的相關理論，搭建1套適用于紡織品外觀檢測的三維輪廓重建系統，嘗試解決紡織品三維輪廓重建的復雜問題，以期為紡織品三維展示、逆向工程、宏觀指標測量等應用奠定技術基礎[3]。

1 三維重建技術在紡織中的應用

計算機視覺(計算機圖像分析技術)具有識別精度高、數據處理量大、反應速度快、結果展示直觀等優點。計算機圖像分析技術的應用使紡織品檢測朝著客觀化、自動化、智能化的方向發展，在建立測試評價體系的同時將人們從單調乏味的人工測試中解放出來[4]。

近二十年來，隨著半導體以及通信技術的發展，集成電路的研究、發展也逐步展開，這些都為計算機圖像處理技術提供了良好的硬件支持，使其在紡織領域的應用得到了進一步拓展[5]；因此，利用計算機圖像分析技術提高紡織檢測技術的智能化、數字化、網絡化程度，是紡織測試技術發展的必然趨勢[6]。

Marr[7]提出機器視覺的分層重建理論框架，能夠由二維逐層重建至三維，并且不需要預先構建三維模型，為應用計算機視覺來進行三維輪廓的重建技術打下基礎。在此基礎上，Lowe[8]提出了主動視覺理論框架，逐步完善了非被動式機器視覺理論。 借助逐步完善的機器視覺理論，楊曉波等[9]研制開發了1種褶皺測試儀來測評織物起皺，該儀器內搭載的軟件根據織物高度、表面傾斜度和經密緯密等幾何參數來定義起皺，但其準確率不理想。隨后又有一批學者展開了相關研究，Galuszynski[10]進一步開發了2種裝置，但其很難適用于表面有凸起的織物；因此，楊曉波[9]借鑒Sugeno等[11]基于模糊聚類的結構識別方法以及Woodham[12]的光度立體視覺技術對織物進行識別。

國內學者利用計算機視覺技術也開展了相關研究工作，為紡織品外觀數字化檢測做了很多有益的嘗試，其中較為代表性的研究成果有：

1)沙莎等[13]利用織物物理模型、線圈模型和紗線真實感3個方面介紹國內外緯編針織物外觀輪廓的三維模擬技術研究歷程。分析了國內外學者多年的研究結果，以及織物三維模擬技術從單一外觀輪廓模擬發展到多物理屬性耦合的動態模擬過程。總結了現有織物三維模擬技術的優缺點，最后分析認為織物三維模擬技術會朝著應用范圍多樣化、線圈類型多元化、模擬方法物理化3個方向發展。

2)織物三維模型還原不僅限于針織物方面，程杰等[14]利用1套織物三維激光掃描系統，通過分析織物組織循環圖、調整掃描范圍和光照環境的方法來提高碳纖維織物表面原始點云的密集程度和質量。結合梯度約束條件和點云約束條件構建得到新尺度獨立的屏蔽約束條件，并將得到的屏蔽約束條件加入到經過分類處理和預處理后的原始點云中，便可重建出碳纖維織物表面較為理想的三維模型。實驗顯示采用該方法重建得到的模型與真實紗線寬度的平均測量誤差為0.12 mm。

3)在得到織物的三維模型后，部分學者利用模型數據嘗試對紡織品特征進行表征，張雪等[15]以三維掃描技術為基礎，提出一種直觀且方便的織物成型評價方法。首先利用頂球使織物起皺，通過掃描得到織物的三維數字模型，接著利用相關軟件對織物的三維模型進行處理運算得到相關指標。采用該方法處理10塊試樣后發現，織物成型性可用織物的體積空隙率表征。此方法引入織物三維模型的概念，為評價和表征織物的成型能力開辟了一種新的思路。

2 織物三維輪廓重建系統

2.1 基本硬件配置

本文自行搭建了一種基于多角度成像技術成像的紡織品三維輪廓重建的數字化圖像采集平臺，如圖1所示。平臺底部設置可旋轉支撐底座，底座上方設置一面光源，面光源四周有校準色板，織物樣品由對稱夾具固定在面光源上，一臺數碼相機位于樣品上方20 cm處，左右兩側有2條向下成45°傾斜角的帶狀光源。在平臺四周另設有2臺數碼相機，距織物20 cm并成45°傾斜向下。電腦主機控制連接光源、相機、運動等模塊，依靠底部支架旋轉，獲取織物圖像序列(可獲取2n+1幅圖像，n為底座旋轉次數)。

圖1 織物拍攝平臺Fig.1 Front view (a) and top view(b) of fabric shooting platform

本文所使用的數碼相機為尼康D610型單反相機；面光源為AFT-BL100 W型LED背光源；控制及處理所用電腦主機中央處理器型號為Inter Xeon CPU E5-1620，圖像處理器型號為NVIDIA Quadro 2000。

2.2 三維輪廓重建流程

通過本文自行研制的三維輪廓重建系統，獲得織物的多角度等距離圖像序列，通過自行設計開發的三維輪廓重建算法，進行織物三維輪廓模型的重建。

織物三維重建步驟包括：1)相機標定[16](包含圖像坐標、相機坐標)；2)特征點的提取與匹配(自動匹配并提取特征點，當提取的特征點數不足時，可設置手動匹配)；3)生成特征點點云，并在特征點的基礎上進行點云匹配形成密集點云；4)根據密集點云數據，進行數據融合得到三角網格以及三角面。

在三維重建初始輪廓模型基礎上，將二維圖像中所有像素點的RGB值、幾何特征、灰度信息、物體紋理渲染至三維模型表面，最終完成織物的三維輪廓重建[17]，其流程圖為:目標織物→環境光源調試→單目多角度拍攝→相機標定→特征點的提取與匹配→建立三維模型→織物三維模型。

2.2.1相機位置標定

本文相機校準方法和通常的校準方法有很大區別，拍攝過程中相機位置和織物圖像上興趣點的三維坐標都是不確定的[16]。其方法大致分為3步：1)選擇圖像中的n個點為興趣點(n>7)，相機由位置1移動至位置2的過程中，利用Deriche等[18]給出的跟蹤方法來獲得興趣點更好的對應關系;2)通過Sturm識別算法計算極點; 3)根據Kruppa的相機位移方程[19]，從兩極點和極線變換獲得絕對二次曲線圖像的2個約束，從而完成相機標定并確定相機空間位置，其結果如圖2所示。

注：圖中數字為相機位置。圖2 相機位置標定Fig.2 Camera position calibration

2.2.2特征點的提取與匹配

本文針對紡織品采用基于尺度不變特征轉換(Scale-invariant feature transform,簡稱SIFT)算法的特征點提取方法，以精確定位織物關鍵點。SIFT算法是一種檢測局部特征的算法，通過求1幅圖中的特征點(interest points, or corner points)及其有關的描述子并進行圖像特征點匹配。采用這種方法提取的圖像特征具有縮放不變性、旋轉不變形，且受光照和視點變化影響較小。其主要思路是首先建立尺度空間，高斯卷積核是實現尺度變換的唯一線性核，1幅二維圖像的尺度空間定義為：

L(x,y,σ)=G(x,y,σ)×I(x,y)

(1)

(2)

式中：G(x,y，σ)為尺度可變高斯函數；I(x,y)為原圖像；σ為尺度參數，將其用于描述圖像細節特征時，細節越明顯，其值越小，反之則越大。為有效地在尺度空間檢測到穩定的關鍵點，提出了高斯差分尺度空間(DOG scale-space)。利用不同尺度的高斯差分核與圖像卷積生成。

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×

I(x,y)=L(x,y,kσ)-L(x,y,σ)

(3)

構建尺度空間后需要檢測DOG尺度空間的極值點。通過比較圖像中每個樣點與其相鄰的所有點，判定是否為極值點：比較中間檢測點和其相鄰的26個點(上下相鄰尺度對應的9×2個點，以及同尺度的8個相鄰點)，以確保該點在二維圖像空間和尺度空間內均為極值點。如果該點在上下2層以及尺度空間本層的26個領域中驗證為極值，就認定此點為圖像在該尺度下的特征點，檢測流程如圖3所示。

圖3 DOG尺度空間局部極值檢測Fig.3 Local extreme value detection in DOG scale space

使用近似Harris Corner檢測器，去掉DOG局部曲率非常不對稱的像素，對關鍵點的高斯差分函數D(x,y，σ) 進行泰勒展開，得到：

，D→D0

(4)

(5)

，D→D0

(6)

(7)

該矩陣中的每個值均是通過臨近采樣點的差值進行計算得到。由于只針對比率，此時定義特征值最大值為α，特征值最小值為β，則其關系為：

Tr(H)Dxx+Dy=α+β

(8)

Det(H)=DxxDyy-(Dxy)2

(9)

(10)

根據式(10)得出結論，只需判斷下式能否成立，就可得到閾值γ與主曲率關系，進而準確定位關鍵點：

γ∶10

(11)

給特征點賦值一個方向參數(128維)，計算每個特征點的方向，依照此方向做進一步計算。為確保算子的旋轉不變性，利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數。

m(x,y)=(L(x+1,y)-L(x-1,y))2+

(12)

(13)

式中：m(x,y)為(x,y)處的梯度幅度大小；θ(x,y)為(x,y)處的梯度方向。至此，已完成對圖像的關鍵點的檢測。3個信息即確定一個SIFT特征區域，并可代表一個關鍵點：方向、所處尺度、位置。

利用關鍵點和關鍵點周圍對其有貢獻的像素點建立多個描述子，可使關鍵點有更多的不變性，提高目標匹配效率。最后對描述子匹配128維后，即表示2個特征點完成匹配。

2.2.3三維模型建立

特征點匹配完成后，利用投影矩陣求得空間點位置，得到織物的點云圖，再以特征點為中心設置一定的窗口進行匹配擴散，進一步找到附近匹配度高的點，最終形成密集點云圖，如圖4所示。

圖4 織物點云圖Fig.4 Point cloud map (a) and dense point cloud(b) of fabric

相距最近的每3個點構成一個三角面，再利用三角面片到圖像的原像定位法，從采集到的所有圖像中搜索出最佳圖像，該圖像需滿足條件：圖像中與表面模型中三角面片相對應的三角形具備最好的紋理質量，即紋理最清晰；模型表面的三角面片到攝像機的空間位置距離最小，且三角面片的單位法向量與圖像平面的單位法向量乘積為零。此時對于這個三角面片而言，這幅圖像在拍攝時所含該面片的紋理質量最好，可選為紋理貼圖。大致流程如下：1)計算該三角面片Ti的單位法向量n。計算第i幅圖像的視點方向Ni；2)計算三角面片法向量n和第i個圖像的視點方向Ni的空間夾角Ti；3)比較所有圖像的夾角θi，將最小夾角的下標i賦給三角面片Ti。這樣就完成了一個三角面片與圖像的配準。對三角網格模型中的每個三角面片重復執行上述步驟，就可完成整個三角網格模型與圖像的配準，結果見圖5。

圖5 配準結果Fig.5 Registration results. (a)Triangular patches;(b) Texture map

2.3 織物拍攝實驗環境及方案

2.3.1針對不同光源的拍攝方案

不同光照條件下拍攝得到的紡織品圖像所攜帶的信息存在差異，本文討論在投射光與透射光下的紡織品三維輪廓重建效果，發現對不同類別的紡織品及不同的三維重建要求，可定性選擇某一種光照環境。

透射法拍攝：將織物固定在平板光源上，調節平板光源亮度(帶燈源關閉)，保證獲得清晰的織物圖像使三維重建的精細度達到符合的要求，避免由于匹配點過少而導致的三維重建失敗。反射法拍攝：平板光源上面鋪設具有一定高度的塊狀黑色墊片，然后將織物置于黑色墊片上，用針織物參照樣框(如圖6所示)將織物套在墊片表面，凸出織物整體，調節拍攝平臺側上方的帶光源，保證拍攝時能獲得織物清晰的圖像。透射法、反射法三維輪廓重建效果圖如圖6所示，重建結果的數據如表1所示。

圖6 三維輪廓重建結果Fig.6 Three-dimensional contour reconstruction results. (a) Image of transmission method; (b) Image of reflection method; (c) Transmission method reduction diagram; (d) Reflection method reduction diagram; (e) Detail diagram of transmission method; (f) Detail diagram of reflection method

類型拼接點/點密集點云/點三維模型/面透射法50939956191199999反射法279676209461524184

由圖6可知，透射法的優點是可以拍攝并三維重建絕大部分織物表面三維信息，線圈排列清晰，整個重建過程出錯率小。而缺點也能從圖中看出，即在三維重建出的模型表面有許多黑點，多次實驗分析得出，黑點是由紗線毛羽對光線的漫反射、鏡面反射引起的，這些噪點的出現是投射法所不能避免的，但可通過潤濕、燒毛等方法減少毛羽對重建模型的影響。

采用反射法拍攝具有更高的重建精細度，線圈串套明顯，但這種方法不適用于雙層或厚實的織物，這是由于拍攝時織物上方帶光源的光線很難穿透具有一定厚度的織物，導致表面紋理無法捕捉，線圈的串套也將無法三維重建。所能尋求的解決辦法只有利用針織物的延展性，將織物撐開至能較好透光，且線圈并未因拉伸而橫向變形或滑移，這樣就能將織物線圈結構較好地重建出來。

2.3.2針對不同織物的拍攝方案

以針織物所在平面為參照面，鏡頭與織物平面成45°夾角，以90°為區間環繞織物拍攝4張成像清晰的圖像，鏡頭與織物間的距離經多次校對，最終定為20 cm，在該距離下，保證成像清晰，并恰好能完整捕捉織物比對框。

以機織物所在平面為參照面，其拍攝夾角與區間同針織物，但由于機織物的織物密度大，要拍攝清晰的紗線結構，就需要對織物小范圍進行拍攝，因此，織物大小設定為邊長5 cm的正方形，對照框規格為邊長5 cm的正方形取景框，四周為邊長為1 cm的正三角柱，此時的拍攝距離定為10 cm，可能拍攝出清晰的織物結構，并將參照樣框及其內的織物完整捕捉。參照樣框如圖7所示。

2.4 三維模型重建結果

實驗共拍攝30塊不同織物(編號為織物1，2，…，30)，部分織物正反面不同，則正反面均拍攝，正反面相同的織物僅拍攝一面；厚度過高的織物僅在投射光下拍攝；但有些織物(如15號)，雖然厚度過厚，但其透光性好，通過面光源照射也可清晰看到其成圈結構及織物表面紋理。本文僅列出部分紡織品三維輪廓重建效果進行分析。

圖8示出雙反面針織物(織物15)的重建結果。可見：三維輪廓重建效果很好，這是由于其紗線較粗，且雙反面織物的結構圓滑，屬于理想重建對象，重建后的結果無論從密集點云還是三角網格都可清晰地看到織物表面凹凸結構，由于良好的透射光環境，適當的拍攝距離及對焦，使得特征匹配獲得的特征點達到了3 000多個。

圖8 15號織物重建結果Fig.8 Fabric of 15 reconstruction results. (a) Camera position calibration; (b) Dense point cloud generation; (c) Triangular mesh generation; (d) Triangular face generation; (e) Three-dimensional reconstruction effect

圖9示出13號織物的三維重建情況。可見：織物起伏清晰，紋理清晰，真實度及可靠性很高，透射光下很好地將織物的結構輪廓凸顯出來，織物自身的色彩漸變也使得特征匹配的特征點高達1 400多個。

圖9 13號織物重建結果Fig.9 Fabric of 13 reconstruction results. (a) Camera position calibration; (b) Dense point cloud generation; (c) Triangular mesh generation; (d) Triangular face generation; (e) Three-dimensional reconstruction effect

3 結 論

本文針對紡織品特點優化了三維重建的相關算法，自行搭建了一套適應于紡織品的多角度拍攝平臺，最終形成可應用于紡織品的多角度成像方案。由實驗驗證可知，本文提出的基于多角度成像技術的紡織品三維輪廓重建方法可將織物表面灰度信息、紋理信息較為完整的三維重建出來，總體效果較好，這對織物結構的數字化展示、實物數字化后的逆向工程、織物多項宏觀指標的測量等應用領域具有重要意義，兼具學術研究和產業應用價值；但對于凹凸不明顯、自身毛羽較多的紡織品三維重建效果不佳；另外受相機的像素、焦距、景深以及光照環境等其他因素的影響，重建的精度還無法達到紗線級別。

FZXB

參考文獻：

[1] 辛斌杰, 劉巖, 林蘭天,等. 淺析紡織品外觀檢驗數字化和遠程質量檢驗技術[J]. 紡織學報, 2011, 32(3):61-66.

XIN Binjie, LIU Yan， LIN Lantian, et al. Three-dimensional modeling and deformation for weft knitted fabric loops [J]. Journal of Textile Research, 2011, 32(3):61-66.

[2] 蔡恩澤. “中國制造2025”與德國“工業4.0”的對接[J]. 產權導刊, 2017(1):54-55.

CAI Enze. "Made in China 2025" and "Germany Industrial 4.0" docking [J]. Property Rights Guide, 2017(1):54-55.

[3] ZHAO S, ZHANG Z, WAN X. Three-dimensional profile reconstruction based on infrared multi-view vision[C]// Eighth International Symposium on Advanced Optical Manufacturing and Testing Technology. Beilinghan： International Society for Optics and Photonics, 2016.

[4] 徐超, 李喬. 基于計算機視覺的三維重建技術綜述[J]. 數字技術與應用, 2017(1):54-56.

XU Chao, LI Qiao. Summary of 3-D reconstruction technology based on computer vision[J]. China Academic Journal Electronic Publishing House, 2017(1):54-56.

[5] 徐珂. 計算機圖像處理技術的探析[J]. 電腦知識與技術, 2014(11):2640-2641.

XU Ke. Analysis of computer image processing technology[J]. Computer Knowledge and Technology, 2014(11):2640-2641.

[6] 劉萍. 計算機圖像分析在紡織品檢驗中的應用[J]. 科研, 2016(11):200.

LIU Ping. Application of computer image analysis in textile inspection[J]. Scientific Research, 2016(11):200.

[7] MARR D. Vision: A Computational Investigation into the Human Representation and Processing of Visual Information[M]. New York: Henry Holt and Company Inc, 1982:107-111.

[8] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[M]. Kluwer Academic Publishers, 2004:91-110.

[9] 楊曉波, 黃秀寶. 織物表面折皺的小波分析與自組織神經網絡等級評定[J]. 中國圖像圖形學報, 2005, 10(4):473-478.

YANG Xiaobo, HUANG Xiubao. Wavelet analysis of fabric surface wrinkle and self-organized neural network grade assessment[J]. Journal of Image and Graphics, 2005, 10(4):473-478.

[10] GALUSZYNSKI S. Effect of fabric structure on fabric resistance to needle piercing[J]. Textile Research Journal, 1986, 56(5):339-340.

[11] SUGENO M, YASUKAWA T. A fuzzy-logic-based approach to qualitative modeling[J]. IEEE Transactions on Fuzzy Systems, 1993, 1(1):7-8.

[12] WOODHAM R J. Photometric method for determining surface orientation from multiple images[J]. Optical Engineering, 1992, 19(1):1-22.

[13] 沙莎, 蔣高明. 緯編針織物三維模擬技術的研究現狀與發展趨勢[C]// 第四十六次全國科技論壇：紡織產業升級新技術融合論壇. 北京：中國紡織工程學會， 2015:118-124.

SHA Sha, JIANG Gaoming. Weft knitted fabric three - dimensional simulation technology research status and development trend [C] // 46th National Science and Technology Forum-Textile Industry Upgrading New Technology Integration Forum. Beijing: China Textile Engineering Society, 2015:118-124.

[14] 程杰, 陳利. 利用激光掃描點云的碳纖維織物表面三維模型重建[J]. 紡織學報, 2016, 37(4):54-59.

CHENG Jie, CHEN Li. 3-D reconstruction of carbon-fiber fabric surface from laser scanning points cloud[J]. Journal of Textile Research, 2016, 37(4):54-59.

[15] 張雪, 陳韶娟, 孫亞寧,等. 應用三維掃描技術的織物成型性測試與表征[J]. 紡織學報, 2014, 35(12):63-68.

ZHANG Xue, CHEN Shaojuan, SUN Ya′ning, et al. Fabric formability test and characterization based on three-dimensional scanning technology[J]. Journal of Textile Research, 2014, 35(12):63-68.

[16] MAYBANK S J, FAUGERAS O D. A theory of self-calibration of a moving camera[J]. International Journal of Computer Vision, 1992, 8(2):123-151.

[17] WARREN P A, MAMASSIAN P. Recovery of surface pose from texture orientation statistics under perspective projection[J]. Biological Cybernetics, 2010, 103(3):199-212.

[18] DERICHE R, FAUGERAS O D. Tracking line seg-ments[J]. Image and Vision Computing, 1990(8):261-270.

[19] HARTLEY R I. Kruppa′s equations derived from the fundamental matrix[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1997, 19(2):133-135.