傳送帶偏移檢測技術研究及FPGA實現

王成辰，王小丫，郭乃宏，周 鋒，王如剛

(1. 鹽城工學院 信息工程學院, 江蘇 鹽城 224051；2. 鹽城雄鷹精密機械有限公司，江蘇 鹽城 224006)

0 引言

直線傳送帶具有傳輸距離長，連續輸送能力高，可重構性強等優點，因此在工業生產中應用十分廣泛。但由于傳送帶大部分以摩擦力帶動運輸，很容易發生打滑以及偏移的問題，傳送帶的偏移會加速托輥和帶的磨損[1]，降低運輸效率，嚴重時會引發安全事故[2]，所以對傳送帶實時偏移檢測具有重大現實意義。針對傳送帶不同種類和應用場景，目前國內外對于傳送帶不良現象的檢測方法最主要是機器視覺檢測、超聲波檢測、電磁檢測以及X射線檢測法等[3]。超聲波檢測是裝置接收超聲波發射系統發射的超聲波，在對其進行濾波去噪等處理后，根據前后的波形對比判斷傳送帶的情況[4]，該方法對環境要求較高，不易得到穩定的回波。電磁檢測和X射線檢測各是通過電磁感應效應和X射線的穿透性的原理完成檢測功能，電磁檢測對周圍電磁波很敏感，應用于工業上需要各種措施保證抗干擾能力，X射線因其輻射性對操作人員健康造成影響，需要額外的保護裝置，所以實質上這兩種方法的應用都會大大增加裝置的成本[5]。隨著機器視覺技術的發展，利用機器視覺對傳送帶檢測的方法越來越普遍和高效，基于視覺技術對物品輪廓和表面的檢測早有研究，現如今大量機器視覺檢測系統應用于各種產品材料表面檢測包括：半導體器件、機械零件、鋼架結構、紡織品、建筑表面、焊縫等[6]。隨著成像的清晰度越來越高，圖像處理算法的不斷開發，機器視覺技術正在成為主流的檢測技術。

國內實現傳送帶檢測的方法主要集中在工人的定期檢測以及機器視覺檢測等方法上，其中人工檢測及糾正的方法通過工人定期檢測配合裝置物理限制的方法對傳送帶進行檢測和糾正。2018年，王來平等研究人員采用機器視覺技術設計了一種傳送帶跑偏自動糾正系統，提高了跑偏糾正精度同時也使得工作效率大大提高[7]。2020年，楊林順等研究人員，提出了一種基于導向濾波和最大類間方差法的改進型Canny算子邊緣檢測方法，并利用Hough變換提取到邊緣直線特征并進行分析處理，最終實現了對輸送帶跑偏故障的在線檢測和分級故障報警[8]。基于機器視覺的檢測系統主要是通過分析圖像傳感器采集到的實時圖像來判定是否發生偏移。機器視覺在偏移檢測系統中的使用，提高了檢測系統的精度和穩定性[9]，從現有研究成果可以看出，研究人員做了較多有益的工作，且基于機器視覺的檢測方法相比于人工檢測的方法具有更高的精度和效率[10-12]。為了進一步解決送料傳送帶在運行過程中發生的橫向偏移和縱向偏移所導致的材料傳送帶運輸位置精度問題，本文在現有的機器視覺檢測的基礎上，設計一種基于改進的Hough直線檢測算法的機器視覺傳送帶偏移檢測系統，本系統將采用FPGA作為處理單元，對CMOS圖像傳感器拍攝的實際傳送帶圖像進行濾波，邊緣檢測，二值化等圖像的預處理，利用以太網傳輸方式把預處理后的圖像信息傳送給上位機，在上位機中進行Hough直線檢測算法處理，獲得傳送帶的偏移狀態。

1 傳送帶偏移檢測算法分析

膠質傳送帶依靠的是帶與滾筒之間的摩擦力實現物料的運輸，經過一段時間的使用，各部件之間的配合不足和零件磨損將會導致傳送帶出現偏移等現象，圖1為傳送帶傾斜偏移示意圖。其中力F為傳送帶受到的牽引力，牽引力F分解為托輥轉動的力F1和橫向分力F2，橫向力F2給托輥橫向竄動的趨勢，所以傳送帶會受到一個與之相反的橫向力，從而導致傳送帶朝另一側跑偏。導致傳送帶跑偏的原因主要包括：傳送帶本身存在質量問題，即傳送帶平整度和帶的張緊度不一致會導致兩邊所受的牽引力不同，從而使傳送帶向牽引力較弱的一側偏移；當滾筒質量存在問題時，滾筒的中心與轉軸的中心線未重合，此時滾筒的傾斜將導致滾筒兩邊的張緊程度不一致，在傳動帶橫向方向每段收到的牽引力大小向滾筒偏移中心遞增；傳送帶在傳送過程中會粘帶一些雜物遺留在托輥上，導致傳送帶兩邊受力不一致，此外，若傳送帶輸送的載荷較大也會造成傳送帶受力不均勻，導致傳送帶向一側偏移。通過以上分析可以看出，傳送帶偏移的主要包含兩個方面：一方面是傳送帶兩邊受到的牽引力大小不同，另一方面是滾筒傾斜對傳送帶產生的額外推力。因此，傳送帶跑偏原因綜合為縱向傾斜偏移和橫向的扭轉跑偏。

圖1 傳送帶的縱向傾斜偏移

針對這兩種偏移的特性，傳送帶偏移檢測技術如圖2所示，為了減少數據運算量及其他圖像元素的干擾，對待測傳送帶的二值圖像數據進行感興趣區域(ROI)劃分，對劃分后的區域數據分別建立X和Y坐標計數器，建立的兩個坐標計數器分別對行列像素進行計數從而得到像素的坐標值，經過對X坐標計數器和感興趣區域數據進行多次采樣獲得平均行坐標的邊緣信息，并與傳送帶實時邊緣位置進行對比分析，以便獲取傳送帶的橫向偏移信息；對從Y坐標計數器的值進行累加操作獲得垂直投影信息，如果垂直投影后的位置發生變化，且與之前采樣的位置不同，即可以判斷為發生扭轉或者橫向偏移，垂直投影部分和邊緣累加器的作用就是實時判斷傳送帶橫向位置。從Y坐標計數器輸出的信號作為縱向偏移檢測分量信息，先用Hough直線檢測算法檢測出傳送帶的邊緣直線，根據檢測結果判斷是否需要進行擬合，獲得擬合直線的傾角，并與設置的閾值進行比較判斷出是否發生傾斜。

圖2 偏移檢測算法框圖

傳送帶縱向偏移檢測利用Hough變換加最小二乘法回歸曲線的方式檢測出傳送帶邊緣直線，將計算出來的斜率與設定的傾斜角度相比較即可判斷是否發生了偏移。標準Hough變換利用對偶性原理，采用直線的極坐標形式可以檢測全部的直線，空間坐標方程轉化為極坐標方程如式(1)所示。

y=kx+b?ρ=xcosθ+ysinθ

(1)

其中:ρ代表Hough中點到中心的距離，θ為點在Hough空間中投影出的線段與坐標軸的角度。

為了實現對傳送帶實時檢測，采用改進的Hough變換算法(PHT)，選取感興趣區域(ROI)邊緣點。改進的算法分為以下幾個步驟：1) 建立ROI感興趣區域，和設定一定范圍的ρ和θ，特別檢測指定區域規定角度范圍內的直線；2) 隨機選取一個邊緣點，建立極坐標系統，獲得邊緣點的直線簇；3) 在邊緣點處利用Hough變換，累加求和；4) 遍歷Hough空間選取最大值的點，判斷該點是否大于閾值。若該點大于閾值則進入下一步，否則返回第一步；5) 從Hough空間得到的最大點開始，沿著直線方位找到直線的起始點和終點；6) 計算出直線的長度，如果大于閾值則該直線可以輸出。

二值圖像經過Hough空間變換得到想要的邊緣直線，由于可能因為外部的噪音、圖像采集和邊緣提取算法的原因，實際上傳送帶圖像的二值化圖像中的傳送帶邊緣并不是平滑的直線，甚至會出現不連續的現象。所以，在Hough變換的直線提取之后在增加一個最小二乘法的直線擬合[13]，進一步獲得完整精確直線，計算最小二乘法擬合后直線的斜率并與設置好的角度閾值進行對比，進而判斷是否發生縱向的跑偏。

圖3 像素垂直投影

圖4 Hough變換直線檢測圖

2 系統設計與實現

2.1 實驗系統設計

實驗系統設計框圖如圖5所示，實驗系統包含圖像采集單元、圖像處理單元、圖像緩存單元、以太網傳輸單元、上位機處理及顯示單元。系統采用的是Altera公司的Cyclone系列EP4CE10F17C8N芯片為核心設計的FPGA開發板，開發環境為Quartus II 13.1，使用硬件描述語言Verilog HDL。圖像傳感器選用的是Omni Vision公司生產的OV5 640圖像傳感器，該傳感器可以調整輸入分辨率以適應不同應用場景，最大可以通過數字視頻接口輸出30幀/秒的1 080p彩色高清視頻，采集到的視頻數據發送給數據轉換模塊，可使用IIC總線協議對其內部寄存器進行配置以改變采集圖像的分辨率。從數據轉換模塊輸出的信號進入圖像處理單元，該單元包括灰度轉換、中值濾波和Sobel邊緣檢測；為了解決圖像數據在FPGA與SDRAM之間互相傳輸時產生的跨時鐘問題，設計了讀寫FIFO模塊，SDRAM讀寫控制器模塊負責驅動SDRAM片外存儲器，內部采用兩個數據緩存BANK，數據的傳送實行乒乓操作，數據進入SDRAM控住器，交替送往兩個緩存BANK，各緩存單元對數據進行預處理，同樣，輸出數據時也是兩個緩存部分交替進行。以太網傳輸單元主要由圖像數據封裝、UDP頂層模塊構成。圖像數據封裝負責從SDRAM中的數據輸出模塊讀取16位的圖像數據，并轉換成以太網發送模塊方便調用的32位數據。UDP模塊實現以太網通信的收發功能，該模塊內部集成了以太網接收模塊、以太網發送模塊和CRC32校驗模塊，為了提高收發效率，把三個模塊封裝成一個UDP頂層模塊。

圖5 系統框圖

2.2 系統的實現

在FPGA硬件平臺上進行所設計的算法實現時，按照平臺的資源合理規劃圖像傳輸通道和處理過程，設計的算法處理模塊可以同時進行相應的處理。根據板卡資源設計系統的實現方式，得益于FPGA流水線操作和并行處理的特點，系統各部分并行進行高速的圖像處理[14-15]，由于Hough直線檢測占用硬件資源很大，現有板卡資源無法完成，所以偏移算法部分使用以太網傳輸技術，將FPGA處理好的圖像數據傳送到PC機，使用MATLAB軟件完成偏移算法的仿真。FPGA進行圖像的灰度轉化、濾波、邊緣檢測、二值化等處理。

1)圖像數據格式轉換：

攝像頭采集到的數據為彩色RBG圖像，如果直接使用彩色圖像，會占用大量的硬件資源，所有首先對圖像進行灰度處理。以下算法實現彩色圖到灰度圖的變換，將圖像從24位真彩色圖像(RGB888)轉換成8位的灰度圖像。為了避免實現浮點運算和資源消耗，采用的轉換方法可以用式(2)表示為[16]：

(2)

其中:R、G、B分別表示為紅、綠、藍信號，Y、Cb、Cr分別表示為YUV中的亮度、色調以及飽和度，實現待測圖像格式轉換過程需要將式(1)中的Y、Cb、Cr右移8位，舍棄信號中的Cb、Cr分量，保留Y信號分量，得到8比特灰度圖像。

2)灰度圖像濾波處理：

為了有效地降低噪聲，需要對圖像進行濾波處理，該部分選取3×3的卷積核做中值濾波處理，在3×3窗口圖像數據中獲取中值[17]。在邏輯設計過程中，采用兩個行緩存來暫存前兩行數據，使用3×3窗口獲取鄰域中的9個像素，其排序比較算法的核心過程如圖6所示：(1)對每行的3個像素進行排序，得到最大值(MAX)、中值(MID)、最小值(MID)；(2)比較3行中每行的最大值，獲取3個最大值中的最小值(MAX_MIN)；(3)比較3行中每行的最小值，獲取3個最小值中的最大值(MIN_MAX)；(4)比較3行中每行的中值，獲取3個中值中的中間值(MID_MID)；(5)將(2) ～ (4)獲取的值送入下一級的比較器，獲取中值(mid_mid)。

圖6 獲取3×3窗口中值

3)邊緣檢測：

傳統的Sobel算子僅對水平和垂直方向上的模板算子進行梯度計算，若待測圖像的像素點在其他方向上的幅值比較高，而水平和垂直方向合成的梯度幅值比較低，那么此像素點將不會被判別為邊緣點。因此，這將導致待測圖像的邊緣點檢測不準確。為了提高待測圖像邊緣信息的準確度，在傳統Sobel算子的基礎上增加450和1350方向上算子[18]。圖7為經過傳送帶圖像經過邊緣檢測后的圖像，可以看出，該方法可以準確地定位邊緣點且圖像信息較為完整和立體。

圖7 Sobel邊緣檢測后圖像

4)感興趣區域建立：

感興趣區域的建立是為了對采集到圖像進行分割提取，將圖像中背景和其他干擾因素去除，重點突出算法檢測區域的圖像。建立感興趣區域(ROI)，有助于突出檢測區域，加快圖像處理的速度和準確度。跑偏算法的檢測重點是在傳送帶的兩個邊緣處，實際加工場景的圖像中不可能只有傳送帶，所以對于跑偏算法中的感興趣區域設定范圍以出傳送帶的邊界為ROI區域的中心區域，ROI區域的左右邊界取傳送帶邊緣周圍輻射的一點區域，具體選擇范圍根據需要檢測的精度和攝像頭的分辨率決定。傳送帶的膠帶是一個整體，如果發生跑偏的現象會反應在整條帶上，所以為了進行一步減少檢測范圍，可以只將傳送帶的一段作為檢測對象。本文中的跑偏檢測系統設計成固定的攝像頭的圖像采集，傳送帶裝置是固定不動的，設定感興趣區域也只需對圖片進行區域劃分和提取即可。考慮到相機畸變效果會使得攝像頭中的景物的邊緣扭曲而影響檢測算法的判斷，所以將攝像機頭的中心對準傳送帶的一條邊，并結合相機標定的參數，糾正圖像的畸變狀況。如圖8是感興趣區域的提取示意圖，xm,xn代表的是ROI區域的行像素邊界，ym,yn則是ROI區域的縱像素邊界，圖中的較小陰影區域就是具體的感興趣區域，顯然只要以區域四角的坐標提取出相應的圖像區域，就可以完成圖像的感興趣區域設定。

圖8 感興趣區域劃分

5)以太網傳輸：

以本文中采用的以太網協議是UDP協議，UDP協議是一種不可靠的傳輸方式，只是負責數據的傳輸，而不需要確定數據的接受方的接受情況[19]。但對于本次實驗的情況，檢測系統可以允許一定的數據丟包和誤碼，使用UDP傳輸協議是較為適合本次實驗的以太網傳輸操作的。

UDP協議是一種局域網絡傳輸協議，將流量打包進行數據傳輸。打包的數據前8個byte用來存放UDP的報頭，其余byte位用來傳輸數據。協議中設置校驗值對數據進行對比校驗確定傳輸正確。校驗值在數據發送方進行計算得出，同樣數據接收方也需要進行再次計算獲得。比較特殊的一點是，UDP協議雖然也存在錯誤檢測功能，但是檢測有誤的數據會直接被舍去而不進行反饋和糾正。

發送模塊的發送順序是前導碼+幀起始界定符→以太網幀頭→IP首部→UDP首部→UDP數據(有效數據)→CRC校驗。輸入的有效數據為32位數據，MII接口為4位數據接口，因此發送模塊實際上完成的是32位數據轉4位數據的功能。

接收模塊的解析順序是：前導碼+幀起始界定符→以太網幀頭→IP首部→UDP首部→UDP數據(有效數據)→接收結束。MII接口數據為4位數據，先把4位數據轉成8位數據，IP數據報一般以32 bit為單位，為了和IP數據報格式保持一致，所以要把8位數據轉成32位數據，因此接收模塊實際上是完成了4位數據轉32位數據的功能。

CRC32校驗在FPGA實現的原理是LFSR(Linear Feedback Shift Register，線性反饋移位寄存器)[20]，各個寄存器儲存上一次CRC32運算的結果，寄存器的輸出即為CRC32的值。

3 結果與分析

為了分析系統的性能，對鹽城雄鷹精密機械有限公司生產的智能裁斷機中的傳送帶進行實時檢測，圖9為采集到的傳送帶實物圖及FPGA處理后的邊緣圖像，從圖9(a)中可以看出，傳送帶為履帶式的直線傳送帶，從圖9(b)可以看出，傳送帶的邊緣信息非常清晰，可以作為偏移檢測的二值圖像進行偏移分析。

圖9 采集到的傳送帶及FPGA處理后的邊緣圖像

橫向的檢測算法利用較為簡單的垂直投影法間接計算出傳送帶的邊緣位置，所以由于檢測實驗背景和攝像頭精度的影響，計算出的數值會一定的數值誤差。通過對一定幀數的圖像進行測試，估算出垂直投影的最大精度值在+8個像素。圖10為垂直投影法檢測邊緣位置分布情況，從圖中可以看出，傳送帶邊緣的位置在橫向561像素左右，最大位置波動為第567和552像素位。

圖10 垂直投影法檢測邊緣位置分布

縱向跑偏算法的精度基本可以控制在0.5°以內，在對實際運行正常的傳送帶邊緣直線角度檢測中，縱向跑偏檢測精度受檢測環境影響較橫向跑偏檢測要小。圖11是對傳送帶邊緣傾角采集的數據分布，紅色點是因為檢測場景變化而浮動較大的圖像幀數，黑色點是檢測平穩的幀數，可以看出縱向傾角采集實驗中，傾角的變化差值最大是0.245°，所以根據采集到的傾角進行縱向跑偏檢測精度估算，其最大精度為0.245°。

圖11 傳送帶邊緣傾角采集

經過以太網傳送到上位機的圖像如圖12所示，為了驗證本次實驗偏移檢測的實際效果，沒有將攝像頭放在兩根傳送帶的正中央，而是為了模擬傳送帶發生偏移的情況，將攝像頭的位置略微靠右，以造成傳送帶左側偏移的效果。

圖12 檢測出的傳送帶邊緣

根據攝像頭拍攝的圖像設定偏移算法的區域為兩個，左側傳送帶邊緣感興趣區域為X∈(0.2x,0.45x)和Y∈(0.3y,0.7y)，右側傳送帶邊緣感興趣區域為X∈(0.76x,0.9x)和Y∈(0.3y,0.7y)。其中x和y分別代表圖像總的行列像素值，X和Y表示感興趣區域的像素坐標值，為了進一步避免環境的干擾，本次實驗特別設定了檢測直線的角度范圍以及檢測出的直線長度。經過上述檢測約束，成功地檢測出想要的傳動帶邊緣直線，如圖8所示。FPGA處理圖像輸出30 fps，以太網傳輸模塊每671 ms傳輸一次處理好的圖片數據到上位機進行跑偏檢測。圖13顯示傳送帶左側為偏移情況，將檢測的直線標紅，右側的傳送帶在設定范圍，顯示為綠色。本實驗將橫向偏移檢測閾值定為±20個像素值，設定的左側傳送帶非跑偏橫坐標位置在100像素，如果橫向坐標投影值xi減100的絕對值大于20，則左側傳送帶發生橫向偏移。同理將右側傳送帶非跑偏橫坐標位置的坐標值設為560，如果橫向坐標投影值xj減560的絕對值大于20，則右側傳送帶發生橫向偏移。縱向偏移檢測的傾斜角度閾值設定為±4°，檢測的傳送帶邊緣直線傾斜角度大于±4°就可判定傳送帶發生縱向偏移。表1為設計的FPGA邏輯資源使用情況。整個設計占用了較少的FPGA資源，消耗邏輯資源3 633個，存儲器單元215 040個。

圖13 傳送帶偏移情況

表1 FPGA邏輯資源使用情況

4 結束語

對傳送帶實際偏移的情況進行分析，將偏移情況總結為橫向偏移和縱向偏移，分別設計兩種偏移檢測的算法對偏移情況進行實時判斷。本系統采用FPGA作為處理單元，對圖像傳感器拍攝的實際傳送帶圖像進行濾波、邊緣檢測、二值化等圖像的預處理，利用以太網傳輸方式把預處理后的圖像信息傳遞給上位機，在上位機中進行Hough直線檢測算法處理，獲得傳送帶的偏移狀態。橫向偏移檢測利用感興趣區域中的像素垂直投影來判定傳送帶的邊緣位置，并與標定后采集的非跑偏傳送帶邊緣位置進行比較，從而判斷是否發生橫向偏移。縱向偏移檢測借助Hough變換的直線檢測算法，將計算出的直線斜率與提前設置好的閾值進行比較，就可判斷是否發生縱向偏移。通過實驗，系統能夠實時地檢測出精度最高，傾斜角大于0.245度的傾斜偏移和橫向8個像素的偏移，FPGA圖像輸出最大幀率為30 fps，可以實現傳送帶偏移的實時檢測。