基于嵌入式平臺的結構光檢測算法的實現與優化

(天地(常州)自動化股份有限公司，常州 213015)

引 言

煤炭生產中的采煤工作面由于照度低、粉塵大、水汽大，可見度極差。在這樣的惡劣環境下，想要通過機器視覺實現對運輸皮帶上的物體特征進行檢測、識別，就必須借助于外部輔助手段。本文借助線性結構光照射在皮帶上，通過視覺傳感器采集皮帶圖像，檢測皮帶上的結構光線型特征來識別皮帶的特征。這里，算法是否能夠準確地識別皮帶上的結構光，是解決問題的關鍵技術之一。

Hi3516A是海思半導體針對高清IP Camera產品應用開發的一款專業高端SoC芯片[1]。它除了具有靈活的高性能ARM Cortex-A7架構以外，還具有高性能的智能分析加速引擎IVE。IVE主要作用是將智能視頻分析算法運算中頻繁調用且消耗資源較大的主要算子實現硬化，以減少底層運算對CPU資源的消耗，節省CPU資源來做更多的智能分析應用。本文以海思Hi3516A平臺上結構光檢測算法為例，詳細介紹嵌入式平臺上視頻分析算法的實現與優化方案。

1 算法實現

1.1 算法原理

結構光檢測算法包括圖像預處理、圖像分割、自動提取ROI(ROI：Region Of Interest的縮寫，圖像處理中的術語“感興趣區”，就是在要處理的圖像中提取出要處理的區域)、提取光條中心線4個模塊。

由于采煤工作面照度低、粉塵大、水汽大，加上光照不穩定、物體本身的反射、成像噪聲、采樣誤差等因素[2]，采集到的現場視頻圖像往往夾雜大量噪聲，所以在對圖像進行算法分析之前，首先對圖像進行處理，主要是灰度化和濾噪處理。

經過預處理后的圖像，噪聲得到明顯抑制。圖像分割模塊通過閾值將結構光中心帶從預處理后的圖像中粗略提取出來。圖像分割研究的重點在于閾值的選取，通過選取合適的閾值，將結構光中心光帶提取出來。

嵌入式系統由于性能限制，算法設計時要在保證準確度的基礎上盡可能減少運算量，以保證算法的效率。為了減少算法運算量，加快算法的運算速度，本文設計了自動將皮帶監控圖像上結構光所在區域提取出來的模塊—自動提取ROI模塊。

由于皮帶特征的識別是基于光條中心線形變特征的，所以提取結構光條圖像后，對光條進行中心線提取。完整提取結構光條中心線，即實現了結構光檢測算法。

1.2 實現方案

1.2.1 圖像預處理實現方案

為了保護圖像的邊緣信息，本文采用中值濾波消除圖像噪聲。中值濾波法是一種非線性平滑技術，它將每一像素點的灰度值設置為該點某鄰域窗口內的所有像素點灰度值的中值，其實現方法為通過從圖像中的模板窗口取出奇數個數據進行排序，然后用排序后的中值取代要處理的數據即可。

1.2.2 圖像分割實現方案

出于對算法自適應性的考慮，本文選用改進的Otsu法自動選取分割閾值。Otsu法又叫大津法或者最大化類間方差法，是一種圖像灰度自適應的閾值分割算法。大津法按照圖像上灰度值的分布，將圖像分成背景和前景兩部分，前景就是需要按照閾值分割出來的部分。背景和前景的分界值就是所出閾值。遍歷不同的閾值，計算不同閾值下對應的背景和前景之間的類間方差，當類間方差取得極大值時，對應的閾值就是大津法所求的閾值。

遍歷t使得φ(t)取得極大值時，獲取的閾值即為最佳閾值。使用此閾值將圖像進行分割，即可得到結構光圖像。

1.2.3 提取ROI

由于拍攝現場攝像機與皮帶位置是相對固定的，所以提取ROI模塊只要在算法運行之初運行一次即可定位ROI區域。

提取ROI區域的算法處理思想為：

① 遍歷步驟1.2.2中獲取到結構光圖像，求取結構光圖像靠近皮帶邊緣的兩個端點A和B，并連線；

② 由于皮帶重力作用，結構光照射在皮帶上有一定的彎曲弧度，求取偏離①中連線最遠的點C;

③ 過C點做AB連線的平行線MN，其中M、N分別為平行線與皮帶邊緣的交點；

④ 連接AM、BN，則由AB、BN、NM、MA四段線段構成ROI。

1.2.4 提取光條中心線

常用的光條中心的算法主要有灰度重心法、極值法、閾值法、曲線擬合法、骨架細化法等[6]。考慮皮帶視頻中結構光亮度很高，與皮帶灰度差別大的特點，本文采用極值法與閾值法相結合的方法獲取光條中心。這種方法實現簡單，運算量與單一的極值法或者閾值法相比，算法運算量更小，且精度更高。

其算法原理為：依次掃描ROI圖像每列灰度，尋找該列灰度最大值，當找到的最大值超過設定閾值時，跳到下一列繼續尋找。最后由每列最大值構成的圖像即為光條中心線。

至此，運輸皮帶上的結構光被檢測并提取中心線。結構光中心線的形變特征用來識別皮帶上特定特征變化。

2 算法優化方案

為了保證算法在嵌入式平臺上運行的實時性，需要對算法進行多級優化。上述算法開發過程中已經從算法實現的角度完成算法級優化，下面將逐一介紹其它層次的優化方案。

2.1 代碼級優化

2.1.1 宏定義設計-使用宏定義常量替換只讀變量

在嵌入式系統中，宏常量采用立即數尋址方式。而只讀的變量占據存儲空間，需要訪問內存，相比宏常量尋址而言效率要低。

2.1.2 數據結構設計優化

數據結構是程序設計的基礎。結構體是程序設計中最常用的數據結構。結構體定義時成員的排序直接影響到嵌入式CPU的執行效率，因此結構體定義時通過指定對齊方式、合理設計成員順序、填充部分域、采用位域構造結構體的手段對算法中的數據結構進行優化。

2.1.3 函數設計優化

本文在算法設計時，充分考慮需要合理劃分模塊的層次結構，以提高內聚性，降低耦合度。在嵌入式平臺上通過下面兩個手段提高函數調用效率。

① 在函數設計時，嵌入式平臺上的ARM處理器會利用寄存器來傳遞參數以提高訪問效率。但ARM體系寄存器傳遞的參數最多4個，當多于4個時，剩余的參數需要用棧傳遞，調用性能大大下降。因此當參數之間緊密相連且通常需要在多個模塊中聯合使用時，應對參數進行封裝，以便于參數的傳遞和變量的管理。

② 采用內聯函數定義部分調用頻繁的簡單函數。由于內聯函數只是在需要用到的時候才展開，取消了函數的參數壓棧，減少了調用的開銷，因此其執行速度比一般函數要快。

2.2 硬件級優化

本文的算法基于海思Hi3516A平臺進行嵌入式移植與優化。Hi3516A擁有海思獨創的IVE(即智能視頻引擎)單元。IVE是將部分智能算法場景中常用的最消耗CPU資源的復雜計算硬件化，配合少量主控CPU參與即可實現各種智能算法。IVE硬化算子的出現，帶來CPU運算性能的提升,更低的產品功耗和更低成本。

本文使用的硬件級優化主要是指使用海思提供的IVE算子取代部分算法子模塊的實現，如圖像濾波采用HI_MPI_IVE_Filter算子，圖像的膨脹采用HI_MPI_IVE_Dilate算子，圖像的腐蝕采用HI_MPI_IVE_Erode算子，圖像的閾值化采用HI_MPI_IVE_Thresh算子等。

3 實驗結果

為了更好地觀察算法實現與優化的效果，本文采用1280×960分辨率的視頻作為輸入源，在海思Hi3516A平臺上進行測試。

3.1 算法實現結果

皮帶撕裂算法檢測結果圖1所示。算法在運行中，使用藍色矩形框實時標出皮帶撕裂的位置。

圖1 皮帶撕裂檢測結果圖

3.2 算法優化結果

表1為算法從PC移植到嵌入式平臺后，代碼級、硬件級優化前與優化后的算法處理時間對比。

通過上表數據可以看出，經過代碼級優化和硬件級優化，算法處理一幀高清視頻幀的時間提高了將近1倍。

表1 嵌入式平臺上算法優化前后處理時間對比表

結 語

本文從算法的原理、算法設計與實現、算法移植與優化幾個方面，結合一個高清的煤礦工作面現場皮帶視頻闡述了基于嵌入式平臺的視頻分析類算法的開發過程。實驗數據表明，經過優化后算法對高清視頻的處理速度仍然無法達到25 fps。

[1] 華為.Hi3516芯片手冊,2015.

[2] 范建華,楊秋翔,安雁艷,等.嵌入式系統中的快速光條中心提取算法[J].計算機工程與設計，2014(11):3808-3812.

[3] 王曉霞,蔣東方,林智偉.嵌入式系統實時中值濾波的高效實現[J].微電子學,2012(12):852-856.

[4] 王磊,段會川.Otsu方法在多閾值圖像分割中的應用[J].計算機工程與設計,2008(6):2844-2846.

[5] 張春明.基于線激光輔助的皮帶撕裂視覺檢測技術研究[D].秦皇島:燕山大學,2012.

[6] 李丹,耿楠,亢娟娜.復雜背景下光條中心提取算法研究[J].計算機應用與軟件,2013(3):271-173,314.

[7] 朱貴鋒,金施群,卞銘.十字線結構光光條提取方法的研究[J].計量測試與檢定,2006(3):12-14.

[8] 嵌入式系統程序可移植性設計及性能優化[EB/OL].[2017-11].http://www.doc88.com/p-1488573940259.html.

[9] 史子旺,葉超群,蔡建宇.嵌入式LINUX內存使用與性能優化[M].北京:機械工業出版社,2009.

徐輝(工程師)，研究方向為智能視頻分析在嵌入式系統上的應用。