基于無人機的自主式巡檢違章罰停系統

梁定康，賈月恬，錢 瑞，陳義豪，肖 建

（南京郵電大學 江蘇 南京 210000）

1 技術概述

本發明實例提供了一種基于無人機的自主巡檢違章罰停系統的方法，用于解決現有智能交通領域查處車輛違章罰停需要人工操作，實時性不高、查處范圍小、工作量大，進而導致工作效率低的問題。本發明旨在給出一種快速、準確、自主式的基于無人機的巡檢違章罰停方法，且在低像素，不同天氣條件下均有較高的實用性，在禁停路段，利用機載攝像頭對無人機當前視野圖像進行采集，進行快速的車牌定位和車牌字符識別，之后連接車牌數據庫進行匹配，得到車主相關信息，同時聯網進行違章信息的注冊，最后發送短信告知車主當前車輛處于違停違章狀態，盡快處理，進而實現遠程提醒車主的作用。本發明主要用于智能交通領域，給無人機下達巡檢任務后，無人機能進行自主巡檢，自動進行違停取證。

本發明包含四大子系統，分別為：無人機飛行控制子系統、車牌定位識別子系統、車牌數據子系統、地面控制中心子系統。

2 無人機飛行控制子系統

無人機飛行控制子系統，包括無人機飛行控制板和飛行主控板、超聲波測距模塊、GPS定位模塊、氣壓計模塊、GSM模塊。超聲波模塊，用于檢測無人機與周圍環境障礙物是否處于安全距離內、GPS定位模塊，能幫助無人機按照預先規定好的路徑進行飛行；氣壓計模塊，用于無人機定高飛行，保證無人機處于一定的高度，確保行人及無人機安全；加速度計，能通過數據融合得到無人機沿各個方向的加速度，幫助飛行控制板控制無人機的沿X，Y，Z三軸的速度變化。GSM模塊，用于給違停車輛車主發送提醒短信。

3 車牌識別子系統

車牌識別子系統，包括機載攝像頭，圖像處理開發板，車牌識別包含車牌定位、字符分割、字符識別三個部分。其具體實施方式為：

（1）車牌定位。使用Sobel定位和顏色定位相結合，降低候選車牌矩形框數量。

（2）字符分割。將候選矩形框傳入SVM判斷模型即可得出車牌照片，下一步對車牌照片進行字符分割，首先先將車牌照片進行尺寸歸一化處理，統一轉化為長140，寬40的矩形框，進行高斯模糊處理，模糊車牌雜點，然后進行二值化操作，最后進行輪廓繪制，即可得到包含各個字符的矩形框，再傳入OpenCV神經網絡CvANN_MLP進行字符識別。

（3）字符識別。本步驟使用的是OpenCV自帶的人工神經網絡類——CvANN_MLP進行字符識別，傳入的字符矩形框數據，其中30%作為測試數據，70%作為訓練數據，進行字符識別調用的就是此前由訓練數據訓練好的.XML文件，將字符矩形框圖像一個一個輸入ANN網絡中即可獲取到判斷出的字符。

4 車牌數據子系統

由車牌識別子系統得到車牌字符串，發送到模擬的交通部門數據庫，進行數據匹配即可得到當前車輛的車主情況，其中包含車主的聯系方式、所有車輛信息等，然后進行違章注冊，將該車主的違章記錄記錄到交通部門，最后短信通知該車主。同時，車牌數據庫亦可作為車牌定位SVM訓練和車牌字符識別ANN訓練的訓練文件，實現資源的重復利用。

5 地面控制中心子系統

地面控制中心系統主要用于發送巡檢任務和及時查看當前無人機所處位置、巡檢結果、無人機飛行狀態及當無人機處于故障模式下能切換為手動模式，確保無人機安全。進一步的，無人機所處位置包括無人機當前所處路段，無人機GPS模塊獲取到的GPS信息及搜星情況；巡檢結果包含已處理幾處違章停車行為、違停車輛的信息、以及違章車輛照片、是否提醒車主等；無人機飛行狀態包括無人機所屬編號、無人機剩余電量、無人機飛行高度等狀態信息。

6 系統工作流程

首先根據交通部門的路段劃分，無人機將道路的GPS數據轉化為其可識別接收的數據，并根據設定好的路徑及路徑數據，由GPS導航模塊獲取當前無人機所處位置的實際GPS數據信息，和預先設定的GPS數據進行對比，無人機的飛行控制板和飛行主控板根據誤差及時調整飛行方向和飛行姿態。

當地面控制中心下達巡檢命令時，無人機自主起飛，進行懸停定高3秒，無人機在懸停期間進行快速自檢，檢測超聲波模塊與無人機控制板的通信連接情況、GPS模塊是否能獲取到正確坐標、GPS的搜索速度是否適合本次巡檢工作以及由機載GPS模塊得到的位置和需求巡檢起始點的位置坐標差。

無人機執行完一系列的自檢程序后，正式進入巡檢工作，以固定的速度向當前道路進行飛行，讀取當前加速度計的值，即可得到無人機沿X，Y，Z三個軸的加速度。當進行偏航或俯仰動作時，融合加速度計的實際值，無人機主控制板能快速響應需求，并下達指令給無人機的飛行控制板，飛行控制板操控電機完成姿態轉換。

在無人機飛行過程中，若經過違停路段區域，圖像處理板啟用攝像頭進行圖像捕獲，檢測當前無人機視野中是否存在車輛車牌，若存在，則機載的圖像處理板則進行車牌定位和識別，在車牌定位和識別過程中，無人機始終處于靜止懸停狀態，直至將違停車輛的車牌信息提取完畢，并注冊好違章記錄，再進行轉向檢測此路段其他方向是否存在違停車輛，若無，則向下一巡檢路段飛行，若有，重復上述車牌定位和識別過程。

上述車牌定位將顏色定位算法和Sobel定位算法相結合，能極大的加快車牌定位效率，考慮到相鄰幀時間較短，為解決因無人機物理抖動造成圖像模糊的問題，故車牌定位將會連續定位五幀圖像，取矩形框重合最大面積視為車牌定位結果，車牌定位的結果將由OpenCV自帶的SVM判斷模型得到最接近訓練數據的車牌矩形框，此矩形框也將作為最終定位的唯一結果傳入車牌字符識別模型。

在車牌字符識別階段，采用OpenCV自帶的CvANN_MLP進行字符識別，首先完成字符分割，即對每個字符的矩形框輪廓進行繪制，隨后傳入訓練好的模型中進行識別，依次輸入單個字符矩形框即可得到最接近的字符匹配結果。在本處識別過程中，若識別到非常相似的字符，如“o”與“0”，為了確保準確性，此時圖像處理開發板將向無人機發出請求，無人機的主控板響應后向地面控制系統發送人工鑒別車牌的請求，此時可進行人工鑒別車牌，以提高本系統的準確性。

在進行車牌定位和識別后，圖像處理板返回當前車牌的字符串，無人機的主控板將會把字符串進行聯網匹配交通數據庫，得到本車的車主信息，可知當前車主姓名，手機號等信息，同時進行違章信息的注冊，此時，由機載的GSM模塊將發送短信通知車主，以完成遠程提醒，警示的作用。

在完成車牌識別，違章注冊，短信通知的任務后，無人機當前的一套工作執行完成，若未收到地面控制系統的返回或停止命令，則將繼續按照預先設定好的路徑飛行，結合實際GPS坐標數據和預輸入好的GPS坐標進行自主飛行巡檢。

[1]劉同焰.車牌識別系統的相關算法研究與實現[D].廣東：華南理工大學，2012：1-81.

[2]耿慶田.基于圖像識別理論的智能交通系統關鍵技術研究[D].吉林：吉林大學，2016：1-169.

[3]靳鵬飛.一種改進的sobel圖像邊緣檢測算法[J].2008(04)：625-628.