基于Open CV圍欄合規(guī)性擺放檢測(cè)方法研究

余萍， 宋祥宇

(1.華北電力大學(xué)電子與通信工程系， 保定 071003； 2.華北電力大學(xué)河北省電力物聯(lián)網(wǎng)技術(shù)重點(diǎn)實(shí)驗(yàn)室, 保定 071003)

隨著生產(chǎn)力的提高，社會(huì)的不斷進(jìn)步，中國電力工程建設(shè)行業(yè)蓬勃發(fā)展。然而中國的電力工程建設(shè)行業(yè)仍有很大的發(fā)展空間，但追求快速發(fā)展的同時(shí)更不能忽略安全問題[1]。統(tǒng)計(jì)數(shù)據(jù)顯示，中國施工事故占比僅次于交通事故，事故數(shù)量占比13.46%，傷亡人數(shù)占比23.13%[2]。因此，施工場(chǎng)地安全監(jiān)督工作為重中之重，施工場(chǎng)地的安全圍欄擺放規(guī)范性是其中重要管控目標(biāo)，但施工或改造現(xiàn)場(chǎng)復(fù)雜、施工場(chǎng)地種類多且變化性大，只靠人力很難對(duì)所有施工場(chǎng)地實(shí)現(xiàn)全程跟蹤管控，因此借助圖像處理技術(shù)實(shí)現(xiàn)分析監(jiān)控拍攝圖片，自動(dòng)判斷工地圍欄擺放是否符合規(guī)范，對(duì)進(jìn)一步保證施工安全減少安全隱患具有較高現(xiàn)實(shí)意義。

近年來，電力系統(tǒng)發(fā)展迅速，電力施工現(xiàn)場(chǎng)數(shù)量大幅度增加，電力施工現(xiàn)場(chǎng)綜合管控水平也正在提升，可視化應(yīng)用逐漸普及，施工現(xiàn)場(chǎng)監(jiān)控?cái)?shù)量增加，然而花費(fèi)大量人力物力財(cái)力實(shí)現(xiàn)的施工現(xiàn)場(chǎng)監(jiān)控普及，對(duì)于其得到的海量施工現(xiàn)場(chǎng)圖像以及視頻信息的利用率卻十分低。大多數(shù)情況下，各個(gè)施工現(xiàn)場(chǎng)的施工細(xì)節(jié)還需要工程監(jiān)理現(xiàn)場(chǎng)發(fā)現(xiàn)，并且在監(jiān)控畫面中，由于實(shí)時(shí)性以及清晰度的限制，單單靠人為觀看監(jiān)控對(duì)于施工現(xiàn)場(chǎng)中某些潛在的隱患不能做到立即發(fā)現(xiàn)并提醒，過多的細(xì)節(jié)難免造成錯(cuò)看與漏看的情況，存在造成嚴(yán)重工程施工事故的隱患，而此時(shí)可視化設(shè)備的作用只剩下調(diào)用事發(fā)時(shí)期錄像，而監(jiān)控錄像也存在覆蓋周期，不能永久保存，因此目前已普及的電力施工現(xiàn)場(chǎng)的可視化管控信息存在資源閑置與浪費(fèi)的現(xiàn)象，由監(jiān)控收集的海量圖像資源無法得到充分的利用。

為提高電力系統(tǒng)信息可視化管控的效率與可靠性，郭瑋等[3]根據(jù)電力信息系統(tǒng)的場(chǎng)景空間分布進(jìn)行三維建模，提出了包圍盒概念，通過計(jì)算相關(guān)事件與左右包圍盒之間的相關(guān)概率并結(jié)合采集數(shù)據(jù)與測(cè)量值之間的關(guān)系對(duì)于電力信息系統(tǒng)運(yùn)行狀態(tài)進(jìn)行估計(jì)，提高了電力信息系統(tǒng)的計(jì)算速度與管控精度；戴永東等[4]提出了一種基于雙視卷積神經(jīng)網(wǎng)絡(luò)的輸電線路自動(dòng)巡檢算法，利用兩個(gè)視角可見光圖象對(duì)輸電線路上常見缺陷進(jìn)行識(shí)別，并通過無人機(jī)巡檢進(jìn)行檢測(cè)，進(jìn)一步實(shí)現(xiàn)了電力系統(tǒng)與可視化設(shè)備的融合與應(yīng)用；付奎等[5]提出了一種基于可升級(jí)矢量圖形(scalable vector graphics，SVG)的可視化技術(shù)在電力系統(tǒng)中的應(yīng)用，在地理接線圖與單線圖方面運(yùn)用，將數(shù)據(jù)信息轉(zhuǎn)化為二維或三維的圖像信息，實(shí)現(xiàn)了相關(guān)設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)信息的直觀展示，并能夠準(zhǔn)確提供圖元定位，大大提高了電力系統(tǒng)中可視化管控水平。

在一個(gè)圍欄群中，如果兩片單獨(dú)的圍欄如果沒有連接上，就會(huì)有一個(gè)“缺口”， 在對(duì)于施工現(xiàn)場(chǎng)圍欄擺放的合規(guī)性研究中，圍欄擺放是否合規(guī)的重要判斷依據(jù)就是“缺口”的數(shù)量，若一個(gè)圍欄群內(nèi)，當(dāng)“缺口”數(shù)量小于等于1時(shí)，規(guī)定該圍欄群為合規(guī)擺放；若“缺口”數(shù)量大于1個(gè)時(shí)，則說明該圍欄群不只存在一個(gè)進(jìn)入施工現(xiàn)場(chǎng)的入口，這就大大增加了無關(guān)人員或者動(dòng)物靠近、進(jìn)入具有一定風(fēng)險(xiǎn)的施工現(xiàn)場(chǎng)的可能性，也就存在了造成可避免工程事故的可能[6]。

現(xiàn)采取Open CV 和C++結(jié)合的研究方法對(duì)施工現(xiàn)場(chǎng)圍欄圖片進(jìn)行處理，使用一系列圖像處理算法進(jìn)行排列組合判斷圍欄群是否存在缺口，通過對(duì)比度增強(qiáng)與色彩提取操作將電力施工現(xiàn)場(chǎng)圖片中圍欄部分進(jìn)行粗略提取，修改目標(biāo)部分像素值，然后經(jīng)過閾值分析實(shí)現(xiàn)圖象的二值化，使之將目標(biāo)圍欄部分與背景進(jìn)行完全區(qū)分，進(jìn)一步采用膨脹腐蝕算法[7-8]在不影響檢測(cè)結(jié)果的前提下將背景中無關(guān)小型區(qū)域進(jìn)行忽略。再通過連通區(qū)域算法[9-11]將不同連通區(qū)域分配不同標(biāo)簽(label)作為區(qū)分。為了增加邊界區(qū)分效果，采用邊緣提取算法[12-13]進(jìn)行處理。接著使用區(qū)域生長算法[14-16]，通過從種子點(diǎn)進(jìn)行生長實(shí)現(xiàn)背景與圍欄部分的分割，實(shí)現(xiàn)缺口存在性的判斷，區(qū)分為存在缺口圖象以及無缺口(即為合規(guī)擺放圍欄)圖象，然后針對(duì)存在缺口的圍欄圖像進(jìn)一步進(jìn)行缺口識(shí)別，關(guān)于圍欄缺口針對(duì)性訓(xùn)練Haar特征分類器，通過對(duì)于圖片中圍欄缺口的檢測(cè)以及數(shù)量的統(tǒng)計(jì)，進(jìn)一步對(duì)于該圍欄群是否合規(guī)進(jìn)行判斷。

1 提取圍欄并判斷缺口存在性

施工現(xiàn)場(chǎng)圍欄圖片冗余信息較多，圍欄部分占比較小，相對(duì)應(yīng)說明背景部分占比更大，這對(duì)于圍欄部分的提取造成極大的難度，因此需要對(duì)施工現(xiàn)場(chǎng)圖片進(jìn)行一系列的圖像處理操作，盡量消除無關(guān)信息，加強(qiáng)有效信息，簡化后續(xù)擺放合規(guī)性步調(diào)，進(jìn)一步減少判斷難度并提高判斷準(zhǔn)確度。算法設(shè)計(jì)流程圖如圖1所示。

圖1 算法設(shè)計(jì)流程圖Fig.1 Algorithm design flow chart

圖2 對(duì)比度增強(qiáng)處理前后的顏色提取結(jié)果Fig.2 Color extraction results before and after contrast enhancement

1.1 圍欄提取

在圖像處理中，由于獲取的圖像質(zhì)量不好，需要通過對(duì)比度增強(qiáng)來提升圖片質(zhì)量，主要解決的是由于圖像灰度級(jí)范圍較小造成的對(duì)比度較低的問題，作用是使圖像的灰度級(jí)范圍放大，從而讓圖像更加清晰。在實(shí)驗(yàn)中，由于背景中會(huì)有大面積的部分與所需要的圍欄部分像素值相似，這就會(huì)導(dǎo)致在后續(xù)對(duì)于圍欄提取的過程中，無關(guān)背景像素點(diǎn)與目標(biāo)像素點(diǎn)無法區(qū)分甚至一起被提取出來，對(duì)識(shí)別提取效果造成極大的誤差。因此，在這里對(duì)圖像首先采取對(duì)比度增強(qiáng)處理，使得色彩區(qū)分較為明顯，減免背景無效像素點(diǎn)對(duì)圍欄色彩提取的影響。然后通過圍欄的顏色特征對(duì)于圍欄部分進(jìn)行提取，將圍欄部分替換為像素值為255的白色，以便后續(xù)處理使用。圖2為對(duì)比度增強(qiáng)前后的結(jié)果以及圍欄色彩提取的結(jié)果差異，可以看出，圖像增強(qiáng)后再進(jìn)行色彩提取，背景中消除了許多細(xì)微的以及提取過程中產(chǎn)生影響的像素點(diǎn)或者像素區(qū)域，達(dá)到了優(yōu)化提取效果的目的。

對(duì)進(jìn)行過色彩提取的圖像進(jìn)行閾值分析操作，對(duì)于圖像中的像素，已經(jīng)被提取出來像素點(diǎn)的灰度級(jí)設(shè)定為255(白色)，因此可以將閾值設(shè)置為254，直接剔除一些低于該閾值的像素，分割出所需要的目標(biāo)，最終結(jié)果如圖3所示，灰度值為255的像素點(diǎn)全部保留，其余部分全用灰度值為0(黑色)代替，便實(shí)現(xiàn)了圍欄部分的初步提取。

圖3 閾值分析結(jié)果Fig.3 Threshold analysis result

1.2 判斷缺口存在性

在本實(shí)驗(yàn)中，雖然對(duì)于背景無關(guān)像素?cái)?shù)量已經(jīng)進(jìn)行過削減，但是小部分無關(guān)像素的影響還是難以排除。通過膨脹腐蝕操作，將背景中被誤提取出來的干擾像素區(qū)域進(jìn)行腐蝕，背景部分相應(yīng)進(jìn)行膨脹，相對(duì)應(yīng)的代價(jià)就是會(huì)使得目標(biāo)圍欄部分也會(huì)得到一定程度的腐蝕，但是該程度的腐蝕并不會(huì)影響圍欄部分的連通性，反而對(duì)于背景無關(guān)像素的消除效果顯著。圖4為膨脹腐蝕操作結(jié)果圖：通過膨脹腐蝕操作以后的圖像，目標(biāo)圍欄部分將更加突出，有效區(qū)域與無關(guān)區(qū)域之間的區(qū)分也更加明顯，同樣也在一定程度上解決了了圖像處理過程中，各個(gè)體圍欄區(qū)域區(qū)分不夠明顯，單個(gè)區(qū)域不夠突出的情況。

圖4 膨脹腐蝕操作結(jié)果Fig.4 Dilatation corrosion operation results

連通區(qū)域一般是指圖像中具有相同像素值并且位置相鄰的前景像素點(diǎn)組成的圖像區(qū)域。而連通區(qū)域分析是指將圖像中的各個(gè)連通區(qū)域找出并標(biāo)記。通俗的理解就是：一個(gè)連通區(qū)域是由具有相同的像素值的相鄰像素組成的像素集合，因此可以通過“相同像素值”以及“相鄰像素”這兩個(gè)條件在圖像中尋找連通區(qū)域，對(duì)于找到的每一個(gè)連通區(qū)域，賦予其一個(gè)唯一的標(biāo)識(shí)作為與其他連通區(qū)域的區(qū)分。袁小翠等[17]提出了一種基于空間鄰域連通區(qū)域標(biāo)記法的點(diǎn)云離群點(diǎn)檢測(cè)，以連通區(qū)域標(biāo)記算法作為基礎(chǔ)，構(gòu)建某點(diǎn)云的連通域，完成所有點(diǎn)遍歷后標(biāo)記停止，小于閾值的點(diǎn)被看作是離群點(diǎn)，該方法對(duì)于不同情況下的離群點(diǎn)檢測(cè)準(zhǔn)確率有較大提升。

為了增強(qiáng)連通區(qū)域分析后的處理效果，在連通區(qū)域分析前增加一步輪廓提取操作，通過對(duì)于目標(biāo)圍欄部分使用線條將輪廓框選出來，便能使得各連通區(qū)域之間區(qū)分更加明顯，非連通區(qū)域間存在明顯邊界進(jìn)行區(qū)分，同時(shí)使用連通區(qū)域算法對(duì)于不同連通區(qū)域賦予不同標(biāo)簽。輪廓提取與連通區(qū)域分析結(jié)果如圖5所示：由上至下分別為輪廓提取結(jié)果、連通區(qū)域分析ColorImg和連通區(qū)域分析LabelImg。

圖5 輪廓提取、連通區(qū)域分析算法結(jié)果Fig.5 Contour extraction, connected area analysis algorithm results

經(jīng)過上述處理的圖像，原本相互連通部分融合成為一個(gè)部分，未連通部分存在明顯區(qū)分。因此，可以通過判斷圖像是否被分為多個(gè)部分對(duì)于缺口的存在性進(jìn)行判斷。王筱涵等[18]針對(duì)血管界面存在凹陷導(dǎo)致傳統(tǒng)分割算法種子點(diǎn)選取時(shí)會(huì)產(chǎn)生位置偏移的情況，提出了一種基于最小生成樹的種子點(diǎn)選取算法，利用前一幀圖像產(chǎn)生隨機(jī)點(diǎn)構(gòu)建最小生成樹，計(jì)算該樹重心作為當(dāng)前幀的種子點(diǎn)，最后利用區(qū)域生長算法進(jìn)行血管截面視頻分割。夏永泉等[19]針對(duì)腹部電子計(jì)算機(jī)斷層掃描(computed tomography，CT)中對(duì)比度低，肝臟形狀不規(guī)則等因素而產(chǎn)生的圖像分割困難的問題，提出以質(zhì)心作為區(qū)域生長種子點(diǎn)的分割方法，既解決了區(qū)域生長算法需要手動(dòng)選取種子點(diǎn)的問題，又保證了種子點(diǎn)選取位置的準(zhǔn)確性。說明區(qū)域生長算法在醫(yī)學(xué)方面應(yīng)用較為成熟，對(duì)于目標(biāo)物體的分割效果較好。利用區(qū)域生長算法，對(duì)于連通區(qū)域分析結(jié)果中的LabelImg進(jìn)行處理，種子點(diǎn)通過算法自動(dòng)選取在提取出來的圍欄群的任意一個(gè)部分中，將結(jié)果與LabelImg進(jìn)行對(duì)比，如果結(jié)果與LabelImg中擁有同樣完整的圍欄部分，那么說明圍欄部分完全連通，該圍欄群無缺口，若結(jié)果只能得到部分的圍欄，則說明圍欄部分并未全部連通，該圍欄群有缺口存在，需要進(jìn)入下一步分析。區(qū)域生長算法判斷圍欄群是否完全連通結(jié)果如圖6所示。可以看出，以圍欄中任意一點(diǎn)作為種子點(diǎn)進(jìn)行生長，只生長出部分圍欄就結(jié)束操作，說明圍欄部分并未連通如圖6(b)與圖6(c)所示，至少存在1個(gè)缺口。圖7中，生長結(jié)果與原圖圍欄部分完全相同，說明圍欄部分完全連通，不存在缺口。到此，就可以進(jìn)入下一步關(guān)于缺口數(shù)量的判斷，進(jìn)而得到圍欄擺放是否合規(guī)的結(jié)論。

圖6 區(qū)域生長前后結(jié)果圖對(duì)比1Fig.6 Comparison of results before and after regional growth 1

圖7 區(qū)域生長前后結(jié)果圖對(duì)比2Fig.7 Comparison of results before and after regional growth 2

2 識(shí)別圍欄缺口并統(tǒng)計(jì)數(shù)量

在Open CV的代碼庫中，保存了很多已經(jīng)訓(xùn)練好的Haar分類器，如圖8所示，各文件分別為人眼、戴眼鏡的人眼、貓臉、人體、微笑等事物識(shí)別分類器文件列舉。

圖8 Open CV已訓(xùn)練好的分類器文件Fig.8 Open CV trained classifier file

因此，根據(jù)實(shí)際情況以及現(xiàn)有資源的情況，訓(xùn)練圍欄缺口識(shí)別分類器用于對(duì)施工現(xiàn)場(chǎng)圖像圍欄部分的缺口進(jìn)行檢測(cè)。

2.1 圍欄缺口檢測(cè)

該分類器原理如圖9所示，即Haar-like特征+AdaBoost+Cascade級(jí)聯(lián)=目標(biāo)圍欄缺口Haar分類器。

Junaidy等[20]使用類Haar 特征方法和局部二值模式方法進(jìn)行實(shí)時(shí)人臉檢測(cè)。Haar-like特征作為圖像特征具有便捷性、高效性等特點(diǎn)，它是基于矩形區(qū)域相似計(jì)算強(qiáng)度差異性，換句話說：這個(gè)區(qū)域的一個(gè)特征值等于白色區(qū)域像素和與黑色區(qū)域像素和之差，依據(jù)此特征值可以用來區(qū)分目標(biāo)區(qū)域與非目標(biāo)區(qū)域。圖10為特征矩形示意圖。

圖9 分類器原理示意圖Fig.9 Schematic diagram of the classifier principle

由于只具備單個(gè)特征的分類器過于簡陋，其檢測(cè)結(jié)果甚至不如隨機(jī)判斷的效果好。所以采用CART的決策樹形式用來構(gòu)成分類器十分必要，單節(jié)點(diǎn)的最基本分類器可以通過訓(xùn)練進(jìn)行優(yōu)化，變?yōu)榫哂懈叩姆直媪Φ姆诸惼鳎簿褪侨醴诸惼鳌膱D11中可以看出，在分類的應(yīng)用中，CART決策樹中的每一個(gè)非葉子節(jié)點(diǎn)都代表著一種特征判斷，每一個(gè)路徑表示一種判斷結(jié)果的輸出，每一個(gè)葉子節(jié)點(diǎn)則表示一種類別，即是否屬于圍欄缺口。

每一個(gè)Haar-like特征的選擇與排列過程，都可以看成是一個(gè)新的弱分類器提升的階段，稱為Boosting算法。通過改進(jìn)而來的自適應(yīng)推進(jìn)算法Adaboost是一種迭代方法，提供了一種有效的學(xué)習(xí)算法和強(qiáng)大的邊界泛化性能。Freund等[21]通過Haar特征與Adaboost算法進(jìn)行結(jié)合，提出了一種用于組合偏好的高效提升算法。同時(shí)為了提高識(shí)別速度，需要將一個(gè)圖像子窗口中包含的大量的Haar-like特征通過Adaboost進(jìn)行特征選擇，利用Adaboost選擇少量重要特征構(gòu)建一個(gè)強(qiáng)分類器，即在訓(xùn)練過程中重點(diǎn)保留少數(shù)關(guān)鍵特征而排除掉大量的可用特征。強(qiáng)分類器組成示意圖如圖12所示。單個(gè)強(qiáng)分類器能達(dá)到的識(shí)別效果有限，為了能夠提高正確率，訓(xùn)練多個(gè)強(qiáng)分類器進(jìn)行組合使用，劉禹欣等[22]通過Haar-like特征雙閾值A(chǔ)daboost實(shí)現(xiàn)人臉檢測(cè)，其中同樣采用了多個(gè)強(qiáng)分類器進(jìn)行級(jí)聯(lián)的方式。

A～H為特征矩形編號(hào)圖10 Haar-like的特征矩形Fig.10 Haar-like characteristic rectangle

圖11 深度為3的弱分類器CART決策樹形式Fig.11 CART decision tree form of weak classifier with depth of 3

假設(shè)有一個(gè)強(qiáng)分類器，99%的目標(biāo)窗口可以通過即正確識(shí)別，同時(shí)50%的非目標(biāo)窗口也能通過即錯(cuò)誤識(shí)別，假設(shè)有20個(gè)同樣準(zhǔn)確率的強(qiáng)分類器級(jí)聯(lián)，那么最終的正確檢測(cè)率為98%，而錯(cuò)誤識(shí)別率為0.000 1%，最終實(shí)現(xiàn)了在不會(huì)大幅度影響檢測(cè)正確率的前提下，大幅度降低誤識(shí)率，這就是Cascade級(jí)聯(lián)的作用。要求訓(xùn)練的單個(gè)強(qiáng)分類器的準(zhǔn)確率需要足夠高。通過Cascade級(jí)聯(lián)多個(gè)強(qiáng)分類器最終形成本研究所需圍欄缺口分類器。級(jí)聯(lián)分類器工作原理如圖13所示所有待檢測(cè)子窗口作為第一個(gè)分類器的輸入?yún)⑴c判決，若某子窗口通過第一個(gè)分類器的判決，將繼續(xù)進(jìn)入下一級(jí)強(qiáng)分類器進(jìn)行判決，反之沒有通過第一個(gè)分類器的判決，則該子窗口直接被拒絕，退出檢測(cè)過程，該子窗口將不會(huì)再作為輸入進(jìn)入到后續(xù)強(qiáng)分類器的檢測(cè)中。通過Cascade級(jí)聯(lián)可以進(jìn)一步篩選被錯(cuò)誤識(shí)別的子窗口從而降低誤識(shí)率。實(shí)現(xiàn)目標(biāo)圍欄缺口分類器的構(gòu)建。

1、2、3所在框圖分別為該級(jí)聯(lián)分類器種第一、第二、第三個(gè)分類器圖12 強(qiáng)分類器組成示意圖Fig.12 Schematic diagram of strong classifier composition

圖13 級(jí)聯(lián)分類器工作原理Fig.13 Working principle of cascade classifier

2.2 實(shí)驗(yàn)過程及結(jié)果分析

2.2.1 實(shí)驗(yàn)過程

本實(shí)驗(yàn)流程圖如圖14所示。實(shí)驗(yàn)所需樣本集為兩部分：正樣本集和負(fù)樣本集，正樣本為被檢測(cè)物體，即“缺口”部分，通過對(duì)電力施工現(xiàn)場(chǎng)圍欄圖片人為判斷“缺口”部分進(jìn)行截圖得到。為了使得正樣本中關(guān)于“缺口”識(shí)別的特征更加明確，截圖范圍為“缺口”部分與形成該“缺口”的少量圍欄部分，如圖15所示，并且正樣本尺寸必須一致，根據(jù)訓(xùn)練樣本官方推薦最佳尺寸，圖15尺寸設(shè)置為24×24像素，建議訓(xùn)練樣本為灰度圖，此處對(duì)于該建議持保留意見，在后續(xù)研究中進(jìn)行進(jìn)一步實(shí)驗(yàn)以確定。

實(shí)驗(yàn)正負(fù)樣本來源為電力施工現(xiàn)場(chǎng)圖片截圖，由于類似帶有圍欄的電力施工現(xiàn)場(chǎng)圖片極其有限，

圖14 實(shí)驗(yàn)過程流程圖Fig.14 Experimental process flow chart

24×24像素圖15 施工圖片截圖選取正樣本范圍Fig.15 Select the scope of the positive sample of the screenshot of the construction picture

而滿足研究拍攝角度的圍欄照片更是少之又少，所以在有限的資源中，努力將可用正樣本進(jìn)行提取，對(duì)于負(fù)樣本，包含了施工人員、施工地面、施工大樓、草地、土地、臺(tái)階等一系列與識(shí)別目標(biāo)無關(guān)的物體，增加了負(fù)樣本涵蓋范圍的廣泛性以及豐富性。但是因?yàn)檎龢颖緮?shù)量的限制，最終制作正樣本數(shù)目為35，負(fù)樣本數(shù)目為103，并準(zhǔn)備76張完整的施工現(xiàn)場(chǎng)圍欄圖片作為測(cè)試樣本集進(jìn)行該方法的研究。

樣本創(chuàng)建完畢，下面便按照實(shí)驗(yàn)流程圖進(jìn)行后續(xù)分類器訓(xùn)練操作。最終輸出圍欄缺口分類器xml文件。

2.2.2 實(shí)驗(yàn)結(jié)果及分析

使用Visual Studio 2017調(diào)用上述圍欄缺口分類器xml文件，實(shí)現(xiàn)施工現(xiàn)場(chǎng)圖片中圍欄缺口的檢測(cè)與識(shí)別，同時(shí)在程序中增加對(duì)于識(shí)別框數(shù)量的統(tǒng)計(jì)，使用循環(huán)判斷語句對(duì)于圍欄缺口數(shù)量進(jìn)行判斷，當(dāng)識(shí)別框數(shù)量大于1時(shí)，輸出“該圍欄群擺放不合規(guī)”反之輸出“該圍欄群擺放合規(guī)”字樣，作為對(duì)于該圍欄群擺放合規(guī)性檢測(cè)結(jié)果輸出，識(shí)別結(jié)果如圖16所示。

從圖16中可以看出，在“缺口”數(shù)量本該為2的施工圍欄圖片中，檢測(cè)出7個(gè)缺口，并且在許多非圍欄部分也給畫出了識(shí)別框，識(shí)別結(jié)果較差，誤差較大。而且對(duì)更多訓(xùn)練樣本進(jìn)行測(cè)試結(jié)果均與上圖類似，問題集中在兩個(gè)方面：①識(shí)別框數(shù)目太多；②識(shí)別框不能完全集中于圍欄部分，在邊界背景等無關(guān)像素處也有識(shí)別框的出現(xiàn)。而好的方面在于，在顯示出來的所有識(shí)別框中，圍欄真正的“缺口”部分是存在識(shí)別框的，表明“缺口”可以識(shí)別。

識(shí)別混亂的原因在于圍欄“缺口”特征不明顯，識(shí)別范圍不能集中在圍欄部分的原因也在于：①同時(shí)負(fù)樣本無關(guān)物體種類不夠豐富；②正樣本集對(duì)于圍欄本身的特征提供得不夠明顯。

3 結(jié)果優(yōu)化

3.1 負(fù)樣本集篩選與重建

解決上述問題需要從正負(fù)樣本兩方面進(jìn)行，為了解決識(shí)別范圍不能集中于圍欄部分的問題，需要增加負(fù)樣本集中物體的種類，同時(shí)需要保證正負(fù)樣本集數(shù)目的比例。所以將負(fù)樣本集重新進(jìn)行篩選與重建，將相似類型以及區(qū)分較小的圖片刪除，并增加之前未包含的無關(guān)物體種類，重新進(jìn)行圍欄缺口Haar分類器訓(xùn)練，并對(duì)新訓(xùn)練出的分類器文件進(jìn)行調(diào)用，重建負(fù)樣本集后識(shí)別結(jié)果如圖17所示。

藍(lán)色框?yàn)閲鷻谌笨跈z測(cè)框圖17 重建負(fù)樣本集后識(shí)別結(jié)果Fig.17 Recognition result after reconstruction of negative sample set

由圖17可以看出，檢測(cè)缺口數(shù)量依然為7，但是所有圍欄“缺口”的識(shí)別框都集中在圍欄部分，背景非圍欄部分不存在識(shí)別框，說明對(duì)于上面提出的識(shí)別框不能完全集中于圍欄部分以及對(duì)于背景的誤識(shí)別問題的解決方法有成效。已經(jīng)可以完成“缺口”的掃描與識(shí)別范圍都固定在圍欄部分，如何進(jìn)一步將圍欄“缺口”準(zhǔn)確的識(shí)別出來，就是下面要解決的另一大問題。

3.2 正樣本集篩選與重建

對(duì)比所有誤識(shí)別框可以得到：首先，肯定正樣本集的有效性，所有識(shí)別框圈選范圍內(nèi)都存在相似的特征：即所有識(shí)別框內(nèi)都包含圍欄邊界或者圍欄主框架部分，所有識(shí)別部分都可以分為左右兩邊框以及邊框中間部分，并且在測(cè)試樣本的實(shí)驗(yàn)中，同樣能夠發(fā)現(xiàn)非圍欄部分的誤識(shí)別框中也存在相似上述特征。該識(shí)別結(jié)果說明，當(dāng)前版本分類器可以總結(jié)出部分“缺口”特征。由于“缺口”本身是一個(gè)十分抽象的概念，“缺口”種類豐富，背景多樣性豐富，導(dǎo)致難以使用通用的標(biāo)準(zhǔn)或者語言對(duì)“缺口”進(jìn)行描述，而對(duì)圍欄擺放合規(guī)性的研究重點(diǎn)在于圍欄“缺口”的識(shí)別，需要通過圍欄對(duì)于“缺口”進(jìn)行特征賦予，因此“缺口”識(shí)別過程不能拋棄掉電力施工圍欄特征而單獨(dú)完成，二者應(yīng)相輔相成，共同完成相應(yīng)特征的總結(jié)以及分類器的訓(xùn)練。

要將電力施工圍欄與“缺口”特征相結(jié)合，電力施工圍欄最明顯的特征是標(biāo)準(zhǔn)的黃色背板以及黃黑色條紋，該特征也是電力施工圍欄設(shè)計(jì)的一大標(biāo)準(zhǔn)，因此，為了突出表現(xiàn)出電力施工圍欄色彩這一特征，對(duì)正訓(xùn)練樣本的處理只執(zhí)行縮放而不執(zhí)行灰度圖轉(zhuǎn)換過程，即使用彩色符合條件的正樣本進(jìn)行訓(xùn)練，用以增強(qiáng)圍欄“缺口”特征，同時(shí)在正樣本集的創(chuàng)建過程中，統(tǒng)一對(duì)于兩側(cè)圍欄保留部分的形態(tài)以及面積占比，重建正樣本集后重新訓(xùn)練圍欄缺口Haar分類器，然后調(diào)用分類器對(duì)施工現(xiàn)場(chǎng)圍欄圖片進(jìn)行識(shí)別，識(shí)別結(jié)果如圖18、圖19所示。

由圖18、圖19可知，所訓(xùn)練的圍欄缺口分類器能夠準(zhǔn)確檢測(cè)出存在缺口的圍欄群中缺口的位置并框選，統(tǒng)計(jì)缺口數(shù)量，進(jìn)行該圍欄群擺放是否合規(guī)的判斷，圖19、圖18分別呈現(xiàn)了圍欄群擺放合規(guī)、不合規(guī)的兩種檢測(cè)結(jié)果。另外，將本文算法第一部分判斷缺口存在性這一步驟中判斷為無缺口的圖片，使用該分類器進(jìn)行檢測(cè)，同樣可以得到該圍欄群無缺口、擺放合規(guī)的判斷，如圖20所示。因此，本研究中訓(xùn)練的圍欄缺口分類器能夠成功實(shí)現(xiàn)電力施工現(xiàn)場(chǎng)圖片中圍欄群中缺口的檢測(cè)以及合規(guī)性的判斷。

藍(lán)色框?yàn)閲鷻谌笨跈z測(cè)框圖18 重建正樣本后圍欄不合規(guī)擺放識(shí)別結(jié)果Fig.18 Recognition results of non-compliant fence placement after reconstruction of the positive sample

藍(lán)色框?yàn)閲鷻谌笨跈z測(cè)框圖19 圍欄合規(guī)擺放識(shí)別結(jié)果一Fig.19 Recognition result 1 of fence compliant placement

圖20 圍欄合規(guī)擺放結(jié)果2Fig.20 Recognition result 2 of fence compliant placement

4 結(jié)論

基于Open CV首次進(jìn)行圍欄擺放合規(guī)性檢測(cè)方法研究，采用C++與Open CV相結(jié)合的方式，首先通過一系列圖像處理算法對(duì)于圖象進(jìn)行預(yù)處理后結(jié)合連通區(qū)域分析算法以及區(qū)域生長算法實(shí)現(xiàn)圍欄部分的提取與圍欄群缺口存在性初步判斷。

接著通過將Haar-like特征與AdaBoost算法和Cascade級(jí)聯(lián)相結(jié)合，訓(xùn)練一個(gè)用于檢測(cè)圍欄缺口的分類器用于進(jìn)一步缺口數(shù)量檢測(cè)。對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析總結(jié)，根據(jù)出現(xiàn)不同的問題對(duì)于訓(xùn)練過程進(jìn)行不同程度的優(yōu)化，得到最終版本的圍欄缺口分類器文件，并使用C++語言通過Visual Studio 2017編譯器對(duì)于該分類器文件進(jìn)行調(diào)用，用于圍欄缺口的檢測(cè)，并且根據(jù)檢測(cè)結(jié)果，自動(dòng)統(tǒng)計(jì)圍欄缺口數(shù)量并對(duì)于該圍欄群擺放是否合規(guī)進(jìn)行判斷。最終得到較好的識(shí)別結(jié)果。研究結(jié)果為基于可視化的工程管控應(yīng)用方面提供了新思路，同樣在對(duì)于圍欄缺口這種特征模糊物體的識(shí)別也提供了新的研究方向,同時(shí)填補(bǔ)了圍欄擺放合規(guī)性識(shí)別領(lǐng)域的空白。但是本研究依然還有可以完善的地方，如在此基礎(chǔ)上增加樣本數(shù)據(jù)量進(jìn)一步提高泛化能力，同時(shí)還可以補(bǔ)充不同樣式的圍欄缺口的識(shí)別研究。