基于預浸紗自動鋪放缺陷的分割算法

蔡志強， 肖 軍， 文立偉， 王東立， 吳瑤平

(南京航空航天大學 材料科學與技術學院，南京 210016)

基于預浸紗自動鋪放缺陷的分割算法

蔡志強， 肖 軍， 文立偉， 王東立， 吳瑤平

(南京航空航天大學 材料科學與技術學院，南京 210016)

為保證預浸紗自動鋪放成型制件的性能，基于圖像處理技術，根據預浸紗表面圖像沿纖維方向灰度均勻的特性，提出了一種結合灰度補償和差影分割的缺陷分割算法。利用圖像灰度補償矩陣對圖像進行灰度補償，依據圖像的灰度誤差服從正態分布的特點剔除圖像矩陣中的極大誤差點，并建立標準背景圖像，以允許差值系數K作為判據進行差影分割。結果表明：該算法對氣泡、異物兩種典型鋪放缺陷分割效果好、速度快，為實現自動鋪放缺陷在線監測提供了良好的理論基礎。

自動鋪絲；缺陷檢測；灰度補償；質心分割；差影算法

自動鋪絲技術是以解決高強度、耐腐蝕、輕質的復合材料機身和進氣道等大曲率、復雜構件制造的關鍵技術，該項技術綜合了纖維纏繞和自動鋪帶技術的優點，在國防、航空航天等高技術領域得到了廣泛應用[1-3]。隨著復合材料自動鋪放技術對產品質量要求的不斷提高，自動鋪絲成型的構件要求預浸紗能夠均勻、無間隙無褶皺地以軌跡規劃路徑鋪覆在模具表面，保證制件上各點性能具有一致性。然而，復合材料制品在鋪絲成型過程中受到多種工藝參數的影響，不可避免會產生成型缺陷，這些缺陷經跨層次蔓延生長可導致構件的失效，嚴重影響了成型制件的性能[4-8],因而對自動鋪絲過程鋪放表面圖像進行實時監測識別成為了目前急需解決的關鍵問題之一，也是研究的重點。

在自動鋪放缺陷檢測方面，國內外學者的研究主要集中在纖維狀態的檢測，如纖維取向及未鋪放纖維的扭轉、劈裂等。Schmitt等[9]設計了一款基于LabVIEW與FPGA的圖像采集處理系統，對圖像處理流程進行優化，并分析了分辨率、曝光時間等參數對測量精度的影響。波音公司將在線檢測系統應用于鋪絲縫隙、重疊等鋪絲狀態的檢測[10-12]，該系統通過對CCD相機采集的預浸紗圖像濾波，借助龐大的缺陷數據庫，運用模板匹配方法對預浸紗圖像進行精確分類。

然而，在此方面的研究國內尚處于起步階段，對鋪放過程中出現的褶皺(氣泡)、異物等缺陷檢測鮮有研究。武漢理工大學劉輝等[13]設計了一套基于USB攝像頭與PC機構成的視頻采集系統，采用中值濾波等預處理后獲得高信噪比圖像，采用亞像素邊緣算法對預浸紗邊緣進行精確分割定位，經過動態Hough算法可有效獲取纖維的鋪放角度，誤差約為±0.2°。武漢理工大學季曉麗等[14]在前人研究基礎上繼續開發了采用“CMOS相機+視覺控制器”的方式進行圖像序列采集，基于MFC和OpenCV開發了預浸紗鋪放間隙檢測系統，該系統僅對首層預浸紗的檢測效果較好(首層預浸紗與模具邊緣的圖像灰度對比度大，易于實現檢測)。本工作針對復合材料自動鋪放表面氣泡、異物缺陷檢測問題，研究滿足高效、可靠的缺陷分割方法，為后續精確識別提供理論基礎。

1 自動鋪放表面缺陷圖像分析

在自動鋪放過程中，由于鋪放速度、壓力等鋪放參數時刻變化，模具表面會不可避免地出現預浸紗搭接、間隙、氣泡、異物殘骸等缺陷。理想條件下，缺陷圖像在紋理清晰的預浸紗圖像中會表現出與周圍環境極大的灰度差異性，易于實現缺陷分割。然而，在實際鋪放過程中，由于預浸紗表面樹脂強烈的反光性及自然光照造成的預浸紗圖像灰度分布不均等因素的干擾，極大地影響了缺陷的識別精度，而精確、完整的缺陷分割是保證缺陷識別精度的重要前提；因此，在圖像分割過程中需要考慮這些不確定因素的影響。

目標圖像的分割方法包括閾值分割、差影算法等。傳統的閾值分割方法是通過設定目標與背景的閾值來實現目標分割的，如固定閾值、Otsu閾值法等。從算法效率上講，固定閾值分割效率高、耗時最短，具有很強的實用性。然而對于受照明條件、噪聲影響較大的預浸紗表面圖像，固定閾值分割效果往往較差。Otsu閾值分割(又稱最大類間方差法)是在灰度直方圖的基礎上采用最小二乘法原理推導出來的，具有統計意義上的最佳閾值。由于預浸紗表面圖像灰度分布極不均勻，往往會出現預浸紗表面圖像某些位置的灰度與缺陷灰度處于同一灰度級，極易出現對圖像的欠分割、過分割現象，嚴重影響后續缺陷類型的識別判斷。陳文等[15]采用基于二維直方圖質心分割算法對預浸紗圖像進行分割并通過設計定向濾波器對圖像作定向濾波處理，獲得相對清晰的方向紋理；由于自動鋪放過程各因素變化極為復雜，很難保證模具表面光照條件分布均勻，同Otsu算法一樣，該算法很難精準地分割出預浸紗圖像中的缺陷。

差影分割算法[16]要求預先提供一幅作為參照的標準圖像模板，將待檢圖像與標準圖像進行減法運算即可得到僅包含缺陷的差影圖像。該方法運算量小，常用于背景圖像穩定，灰度均勻性好、噪聲干擾性小、實時檢測的情況。由于鋪放表面預浸紗灰度極不均勻且存在嚴重的樹脂反光問題，給圖像分割過程造成了極大的困難。

通過研究發現，預浸紗表面圖像灰度分布并不是雜亂無章的，圖像灰度分布沿纖維方向具有灰度基本一致的特點(如圖1)。基于此特點，結合上述分割算法的不足，本工作提出了一種基于圖像差影的分割算法，其基本思想如下：首先對圖像進行灰度補償使其整體灰度處于同一灰度級，剔除掉每行較大誤差灰度點，利用圖像沿纖維方向灰度均勻的特性，以每行平均灰度值作為圖像矩陣標準列向量，通過“復制”建立標準背景圖像，以差值系數K作為分割判據，對待檢圖像進行分割處理。同時，考慮到鋪放過程中存在的不確定因素會影響缺陷分割效果，對分割后的二值圖像進行中值濾波，消除噪點，獲得高質量的缺陷分割圖像。

2 圖像分割算法原理

2.1 圖像灰度補償原理

由于模具表面局部曲率變化較大及表面樹脂反光程度不同，CCD高速相機采集到的預浸紗表面圖像往往呈現出圖像灰度不均勻的現象。然而，通過觀察采集的預浸紗表面圖像后發現，圖像各像素點在纖維方向上具有很大的灰度相似性。依據這一規律對圖像在纖維方向上的灰度分布進行分析，求取圖像的縱向投影，獲得圖像在纖維方向上的平均灰度分布曲線。由于實際采集到的圖像沿纖維方向灰度參差不齊，無法直接對圖像進行差影分割，需要對其進行灰度補償預處理。依據理想灰度分布曲線對實際平均灰度分布曲線進行灰度補償修正，將其調整到同一灰度級，如圖2所示。

對于一幅預浸紗表面圖像IM×N，可以看作大小為M×N的矩陣，則圖像縱向投影均值為：

(1)

式中：f(j)表示圖像矩陣每列的平均灰度值；g(i,j)表示圖像I在(i,j)處的灰度值；M表示圖像矩陣的列數。假設統計得到圖像的平均灰度分布曲線y=f(j)，如圖2。設理想灰度曲線y=G，圖像寬度方向上第j點的平均灰度值f(j)=a，則圖像矩陣第j列灰度修正系數為：

k(j)=G/f(j) (j=1,2,...N)

(2)

式中：k(j)為寬度方向第j點的灰度修正系數；k(j)>1。

由公式(2)可得到圖像在寬度方向上所有的修正系數k(j) ，以k(j)作為模板矩陣對圖像進行灰度補償修正，將圖像灰度調整到理想灰度級上，修正過程如下：

g2(i,j)=g(i,j)k(j)

(3)

式中：g2(i,j)為灰度補償修正后的圖像。

d=|g1-g2|

(4)

d′=k|g1-g2|

(5)

式中：g1，g2為圖像某行背景、缺陷相鄰兩像素；d，d′為灰度補償前、后灰度差值。

由式(2)和圖2知，k>1，帶入公式(4)，(5)，有d′>d。由此可知，圖像灰度補償不僅提高了預浸紗鋪放表面圖像缺陷邊緣的灰度對比度，還降低了光照及相機成像過程中對圖像造成的灰度不均勻性。

2.2 標準背景圖像的生成

(6)

圖3是對一幅預浸紗鋪放表面圖像第i行進行統計獲得的灰度差概率分布曲線。該分布符合誤差的集中性、對稱性和單峰性，預浸紗表面圖像第i行灰度誤差值基本服從μ=0的正態分布N(0,σ2)。因此，可以認為預浸紗表面圖像灰度誤差值在統計概率上不會超過極限誤差δ(i,j)=±3σ[17]。

圖3 預浸紗第i行灰度差概率分布曲線Fig.3 Probability distribution curve of pixel-value difference in line i of prepreg image matrix

當鋪放表面存在缺陷時，缺陷處灰度值與該纖維 方向灰度差值一般會高于極限誤差。因而，通過

極限誤差3σ對粗大誤差進行剔除并生成標準背景圖像，過程如下：

(a) 根據采集到的圖像計算每行的灰度均值：

(7)

依據式(7)計算整幅圖像I的M行灰度均值；

(b) 運用式(6)，(7)及貝塞爾公式計算圖像每行的灰度標準差σi:

(8)

(9)

(假設第i行滿足3σ準則有k個點)

則標準背景圖像列向量為：

(10)

(d) 對標準背景圖像列向量gM×1進行N列 “復制”，即得到與待檢測圖像矩陣大小相一致的標準背景圖像，其矩陣變換過程如下圖4:

圖4 矩陣變換過程Fig.4 Process of matrix transformation

2.3 差影分割

在獲得標準預浸紗表面圖像后，對待分割圖像進行差影分割處理，該算法是把同一景物在不同時間拍攝的圖像相減，利用差影圖像提供的圖像間的差影信息以達到動態監測及目標識別的目的[18]。輸入待測圖像Y(i,j)和標準圖像X(i,j)，則輸出圖像為C(i,j)，該原理如下：

C(i,j)=Y(i,j)-X(i,j)，Δ=|C(i,j)|

(11)

式中：Δ表示圖像灰度差的絕對值；i，j分別為圖像矩陣的行和列。

由于預浸紗表面圖像灰度會在較小的范圍內波動，因此需要對輸出圖像矩陣元素設置允許差值系數K；如果Δ

2.4 濾波處理

自動鋪放圖像采集過程中存在各種噪聲影響，預浸紗圖像在分割過程中會出現將噪點誤分割為缺陷的現象，導致特征提取的精度降低，影響后續的缺陷類型識別，因而需要對其進行濾波處理。由于預浸紗鋪放表面圖像具有較強的紋理性，纖維方向需要更多的濾波處理以達到消除噪點的效果，所以在提高氣泡、異物等非紋理性缺陷信息強度的同時，需要降低圖像中纖維方向冗余信息的強度，因而對其進行鄰域處理及定向中值濾波。

3 結果與分析

本實驗的計算機配置為：CPU Intel Core 2；內存2GB；操作系統Windows XP；軟件環境Matlab R2009a。實驗圖像格式BMP；灰度級256。測試圖像包括氣泡、異物兩種典型預浸紗表面缺陷類型，如圖5。

圖5(a)，(b)是在鋪放過程中采集到的兩種典型預浸紗鋪放缺陷圖像。采用本工作的算法分別對圖5中兩種類型的缺陷進行灰度補償及未濾波直接差影處理，結果見圖6；并將質心分割算法、Otsu閾值分割結果與本算法進行對比，結果見表1。

圖5(a)中，存在兩個較明顯的氣泡缺陷，預先對圖像進行灰度校正處理，由灰度投影平均值曲線圖6(a-1)知：原圖5 (a)中左側圖像灰度級比右側高，即左側光照強度相對較高。經縱向灰度補償校正后的圖像(如圖6(a-2) )沿著纖維方向具有相同灰度級。為獲得良好分割效果，根據經驗設定允許差值系數K=22；直接進行差影分割而未進行濾波處理的圖像中存在很多噪點，同時出現了輕微的誤分割現象，如圖6(a-3)。

對圖5 (b)中異物缺陷圖像作縱向投影處理獲得如圖6 (b-1)灰度投影圖，觀察發現，在圖像像素寬度方向100到150出現灰度值突變的現象，這個灰度突變的位置就是缺陷在圖像寬度方向的位置。在對灰度補償后的圖像(圖6(b-2))進行差影分割后獲得圖像(圖6(b-3))，在分割出異物缺陷的同時，沿預浸紗方向存在很多噪點。對上述兩種缺陷圖 像進行定向濾波處理后獲得表1中結果，并與其他兩種算法進行對比。

圖5 典型鋪放缺陷(380×250) (a)氣泡缺陷(紅圈標記處為氣泡缺陷)；(b) 異物殘骸(黃色膠帶紙)Fig.5 Typical defects of AFP (a) bubble；(b) foreign object debris(FOD)

圖6 缺陷圖像處理結果 (a-1)氣泡圖像：縱向灰度投影圖；(a-2)灰度補償后氣泡圖像；(a-3)差影分割氣泡圖像 (未濾波)；(b-1)異物圖像：縱向灰度投影圖；(b-2)灰度補償后異物圖像；(b-3)差影分割異物圖像(未濾波)Fig.6 Image processing results of defects (a-1) bubbles: vertical gray-level projection；(a-2) bubble image after gray compensation； (a-3) subtracted image of bubbles(unfiltered)；(b-1) FOD: vertical gray-level projection； (b-2) FOD image after gray compensation； (b-3) subtracted image of FOD (unfiltered)

MasscentroidpartitioningalgorithmOtsualgorithmProposedalgorithmBubbleTime/ms957237FODTime/ms896335

為減少將噪聲誤分割為缺陷的情況，本實驗通過定向中值濾波處理，抑制纖維方向噪點信息強度，實現了精確分割缺陷的目的(本算法，見表1)。由圖可知，噪點經中值濾波處理后被完全濾除，氣泡缺陷被精準地分割出來。質心分割算法在分割這類灰度直方圖呈單峰性的預浸紗表面圖像時具有明顯優勢，但往往由于預浸紗表面鋪放不平整的原因導致光照不均勻、表面樹脂反光程度不同，進而造成在質心分割過程中，出現誤分割的情況(見表1)。究其原因，是由于質心分割方法是基于灰度直方圖的基礎上采用質心定義推導出來的，具有統計意義上的分割，而往往在該類型缺陷圖像中非缺陷區圖像灰度與缺陷區有相似灰度級；因此，表面微小變化很容易被分割出來，出現誤分割的現象。同樣地，Otsu分割算法也存在相同問題，這種具有統計意義的閾值分割方法并不能對預浸紗圖像面狀缺陷進行良好的分割。本工作的算法在分割過程中充分考慮到預浸紗表面圖像灰度在纖維方向上基本相似的特性，在保證精準分割缺陷的同時獲得了較好的分割效果。

對兩種類型缺陷，表1分割結果驗證了本工作算法的適應性和有效性，分割結果較為準確、完整，對噪聲干擾不敏感，同時耗時最短，為后續圖像缺陷類型識別提供了良好的基礎。由于在鋪放過程中，圖像表面光照強度及均勻性很難保證，因而檢測精度很大程度地受到圖像采集精度的影響，所以如何獲取高質量預浸紗表面缺陷圖像也是需要深入探究的問題。

4 結 論

(1)基于傳統差影算法，結合預浸紗鋪放表面圖像特點，提出了一種基于預浸紗表面圖像的改進差影分割算法，極大地提高了圖像分割的精度，然而在不斷變化的圖像采集環境下，很難保證圖像采集的穩定性，如何保證圖像采集的穩定性還需進一步探討。

(2)在實際預浸紗鋪放過程中，針對光照不均及樹脂反光程度不同等因素的影響，采用光照補償算法可有效將圖像纖維方向的灰度補償至相同灰度級，為后續缺陷分割、缺陷類型識別提供了良好的前提條件。

(3)通過對比分割實驗結果表明，本工作所提出的分割算法具有高精度、強抗干擾能力等特點，為后續進一步圖像缺陷識別提供良好的基礎。即便如此，該分割算法仍然存在邊界分割誤差的情況，所以如何進一步提高邊界精度，降低分割誤差是下一步需要解決的問題。

[1] 肖軍，李勇，李建龍．自動鋪放技術在大型飛機復合材料構件制造中的應用[J]．航空制造技術，2008(1)：50-53．

(XIAOJ，LIY，LIJL．Applicationofautomaticlayingtechnologyinthemanufactureoflargeaircraftcompositecomponents[J]．AeronauticalManufacturingTechnology， 2008(1)：50-53．)

[2] 張建寶，肖軍，文立偉，等．自動鋪帶技術研究進展[J]．材料工程，2010(7)：87-91．

(ZHANGJB，XIAOJ，WENLW，etal．Research progress of automated tape-laying technology[J]．Journal of Materials Engineering，2010(7)：87-91．)

[3] Maass D．Progress in automated ply inspection of AFP layups[J]．Reinforced Plastics，2015，59(5)：242-245．

[4] 嚴飆，文立偉．自動鋪纏預浸帶熱壓接研究[J]．材料工程，2014(5)：7-11．

(YAN B，WEN L W．Hot-press bounding for prepreg in automatic placement and tape wingding[J]．Journal of Materials Engineering，2014(5)：7-11．)

[5] SHIRINZADEH B，CASSIDY G，OETOMO D，etal．Trajectory generation for open-contoured structures in robotic fiber placement[J]．Robotics and Computer-Integrated Manufacturing，2007，23(4)：380-394．

[6] 方宜武，王顯峰，顧善群，等．自動鋪絲過程中預浸料的側向彎曲[J]．材料工程，2015,43(4):47-52.

(FANG Y W，WANG X F，GU S Q，etal．Lateral bending of prepreg during automated fiber placement[J]．Journal of Materials Engineering，2015,43 (4)：47-52．)

[7] 林勝．自動鋪帶機/鋪絲機(ATL/AFP)——現代大型飛機制造的關鍵設備(上)[J]．世界制造技術與裝備市場，2009 (4)：84-89．

(LIN S．ATL/AFP—the key machine for manufacturing of modern large airplane(I)[J]．World Manufacturing Engineering & Market，2009 (4)：84-89．)

[8] 杜善義．先進復合材料與航空航天[J]．復合材料學報, 2007，24(1)：1-12．

(DU S Y．Advanced composite materials and aerospace engineering[J]．Acta Materiae Compositae Sinica，2007，24(1)：1-12．)

[9] SCHMITT R，FURTJES T．Real-time machine vision system for an automated quality monitoring in mass production of multiaxial non-crimp fabrics[J]．IFAC-Papers Online，2015，48(3)：2393-2398．

[10] ENGELBART R W，HANNEBAUM R．Verification of tow cut for automatic fiber placement：US8377239[P]．2013-02-19．

[11] ENGELBART R W．System and method for identifying defect in a composite structure：US7171033 B2[P]．2007-1-30．

[12] ENGELBART R W．System and methods enabling automated return to and/or repair of defects with a material placement machine：US20050203657[P]．2005-9-15．

[13] 劉輝．基于機器視覺的纖維鋪放角度及間距檢測系統研究[D]．武漢：武漢理工大學，2008．

(LIU H.The research of image detection system of fiber tape laying based on machine vision[D].Wuhan：Wuhan University of Technology，2008．)

[14] 季曉麗．基于計算機視覺纖維帶鋪放間隙檢測系統研究[D]．武漢：武漢理工大學，2010．

(JI X L．The research of image detection system of fiber tape laying based on computer vision[D]．Wuhan：Wuhan University of Technology，2010．)

[15] 陳文，曹力，肖軍，等．基于視覺的復合材料自動鋪放表面紋理實時檢測方法[J]．科學技術與工程，2011，11(18)：4143-4149．

(CHEN W，CAO L，XIAO J，etal．A vision-based real-time detection method of texture in automatic composite fiber placement[J]．Science Technology and Engineering，2011，11(18)：4143-4149．)

[16] 彭向前，陳幼平，謝經明，等．浮法玻璃缺陷在線檢測識別方法研究[J]．玻璃與搪瓷，2010，38(1)：1-6．

(PENG X Q，CHEN Y P，XIE J M，etal．Research on online defect inspection and recognition for float glass fabrication[J]．Glass & Enamel，2010，38(1)：1-6．)

[17] 姚景風.測得值服從正態分布時極限誤差的確定[J]．上海機械學院學報，1990(1)：105-110．

(YAO J F．The computation of limiting error for measured values possessing normal distribution [J]．Journal of University of Shanghai for Science and Technology，1990(1)：105-110．)

[18] 何斌，馬天予．Visual C++數字圖像處理[M]．北京：人民郵電出版社，2002．

(責任編輯：徐永祥)

Algorithm of Defect Segmentation for AFP Based on Prepregs

CAI Zhiqiang， XIAO Jun， WEN Liwei， WANG Dongli， WU Yaoping

(College of Materials Science and Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016, China)

In order to ensure the performance of the automated fiber placement forming parts, according to the homogeneity of the image of the prepreg surface along the fiber direction, a defect segmentation algorithm which was the combination of gray compensation and substraction algorithm based on image processing technology was proposed. The gray compensation matrix of image was used to compensate the gray image, and the maximum error point of the image matrix was eliminated according to the characteristics that the gray error obeys the normal distribution. The standard image was established, using the allowed deviation coefficient K as a criterion for substraction segmentation. Experiments show that the algorithm has good effect, fast speed in segmenting two kinds of typical laying defect of bubbles or foreign objects, and provides a good theoretical basis to realize automatic laying defect online monitoring.

automated fiber placement；defect detection；gray compensation；segmentation of mass centroid；subtraction algorithm

2016-09-08；

2016-11-15

國家“973”計劃(2014CB046501)；江蘇省高校優勢學科建設工程資助項目

肖 軍(1959—)，男，碩士，教授，主要從事先進復合材料及其自動化制造技術與應用， (E-mail) nuaaccmexj@126.com。

10.11868/j.issn.1005-5053.2016.000157

TB332

A

1005-5053(2017)02-0021-07