關于計算機視覺技術在電廠盤煤系統中的應用研究

劉忻

基于某發電公司已經建立的全新封閉煤場，嘗試將過去復雜繁瑣的盤煤工作以信息化、數字化、自動化的方式解決，降低生產管理成本，增加效益。實現了盤煤實時化、精準化，實時掌握不同煤質的燃煤進貨情況、消耗量和庫存位置，為燃煤科學摻配提供數據基礎，以最少的投入獲得更多的回報，竭力成為環保生產，高效生產的智慧煤場典范。

通過利用應用高速機器視覺傳輸網絡理論與技術、計算機圖形圖像理論與技術等領域的最新研究成果，通過在煤場安裝多個高感光球型攝像機，實現對于室內（封閉）煤場可見光圖像的無死角圖像采集，研究基于視覺的多目機器視覺全區域覆蓋技術，通過對于實時采集的二維圖像的特征點進行匹配，結合既有煤場標點信息，對室內煤場表面結構的物理坐標進行計算，融合煤棚空間結構信息的快速實景三維重構技術最終實現三維重構，設計煤場點云信息的積算算法，根據重建后的三維模型的坐標數據，計算出煤堆體積，并通過優化算法時間，令時間復雜度達到預期以滿足實時性要求。

通過系統設計和建設投運，實現了該發電公司二、三期封閉煤場盤煤無人化、定期、隨機任意時間盤煤，根據工作需要靈活選擇盤煤時間，提高盤煤準確率，能夠隨時掌控煤場內的儲煤量及分煤種的三維圖像顯示。為燃料運行人員對優選摻配煤周計劃提供可靠參考。

本項目主要技術包含以下四個部分：

1系統體系架構設計2圖像采集單元及傳輸系統設計3視頻總線單元和視覺服務單元設計4系統性能指標設計。

下面分別詳細闡述：

一、系統體系架構設計

多目盤煤系統的系統架構圖，其中云臺一體機構成二維可見光圖像采集單元，采集的圖像經解碼器進入視頻總線，視頻總線是視頻管理和維護的抽象層，其采用標準接口，它為盤煤系統及以后的各類監控系統提供標準化視頻接口，三維重建的一系列算法集成到計算機視覺服務器，作為視頻總線的一個具體應用提供服務，所需的渲染、瀏覽、查詢、控制等人機交換操作則集成到計算機視覺監控器，提供人機交互接口供工作人員使用。

二、圖像采集單元的分布設計及傳輸系統設計

本方案選擇云臺一體攝像機陣列用于二維可見光圖像的全方位采集。系統選用400萬以上像素高清相機，提供23倍光學變焦能力，實現4.8-110mm大范圍焦距變焦，圖像采集單元的分布設計示意圖如圖2和圖3所示。此外，攝像頭具有斷網續傳、數字降噪、曝光補償、SMART265編碼、多樣性存儲等多種特性。

煤場內所有云臺一體攝像機構成了盤煤系統的圖像采集單元，圖像采集單元所采集的圖像通過高速傳輸網絡傳至視頻總線系統以保證實時性與可靠性。云臺一體攝像機均安裝在馬道和步道兩次，以便于日常維護。在此約束條件下，通過多次實驗，優化了相機數量，得到的圖像以最小的重合度覆蓋整個煤場，仍能保持較高的三維模型質量。

通過多個攝像機的安裝與布置實現多目盤煤，大大提高了系統的魯棒性，如果采用單個攝像機，不僅存在著視野過大、圖像細節粗糙等問題，還會造成一旦攝像頭故障，會造成圖像丟失，從而影響煤場的三維重構。通過適當冗余攝像機的方法，利用相鄰兩個攝像頭旋轉，對故障攝像頭所負責區域進行拍攝，因此要謹慎選擇球機間距。在多目攝像機中，每個攝像機有自己的相機坐標，相機間的相對位置難以測量，為未知量，需要將這些相機坐標統一到世界坐標系中。解決方法是以拍攝照片序列中第一張照片的攝像頭為坐標系原點，逐張添加圖像，兩圖像根據匹配特征點合并坐標系，最后統一對坐標進行變換。

云臺的選擇設計，云臺是固定機器視覺系統的支撐設備，它分為固定和電動云臺兩種。固定云臺適用于監視范圍不大的情況，在固定云臺上安裝好攝像機后可調整攝像機的水平和俯仰的角度，達到最好的工作姿態后鎖定調整機構。電動云臺適用于對大范圍進行掃描監視，它可以擴大攝像機的監視范圍。電動云臺高速姿態是由兩臺執行電動機來實現，電動機接受來自控制器的信號精確地運行定位。在控制信號的作用下，云臺上的攝像機既可自動掃描監視區域，也可在監控中心值班人員的操縱下跟蹤監視對象。本系統采用高速步進電機云臺，采用軟件方式控制云臺的上下、左右運動角度，以實現少量攝像機的大面積覆蓋。云臺的控制可以采用軟件自動控制，也可以通過計算機視覺監控器的人機接口，由工作人員控制，以便在需要時查看煤棚內的視覺信息。

傳輸系統用于攝像頭與處理系統間的信息傳輸。攝像頭將拍攝的高清圖像通過傳輸系統傳輸至視頻總線系統。視頻總線系統將對攝像頭的控制信號傳輸至攝像頭。本項目的數據傳輸采用千兆有線以太網。傳輸系統支持相關數據通過統一數據接口將上傳至燃料大數據中心，確保在辦公網內能夠查詢和監視系統運行及數據運行狀態，并完成智能盤煤系統中部分功能在MIS網的展示，包括當前存煤信息、用煤信息等主要數據。

三、視頻總線及視覺服務單元設計

設計視頻總線系統，實現圖像的合成，利用既有煤場標點位置，實現煤場三位重構。

對于多個攝像機的鏡頭位置定位問題，由于每個攝像機有自己的相機坐標，相機間的相對位置難以測量，為未知量，需要將這些相機坐標統一到世界坐標系中。解決方法是以拍攝照片序列中第一張照片的攝像頭為坐標系原點，逐張添加圖像，兩圖像根據匹配特征點合并坐標系，最后統一對坐標進行變換。

對于煤堆邊緣拍照的圖像畸變造成畸變過大的圖像特征點難以與其他正常圖像匹配，因此采用畸變校正算法解決此問題。

對于兩臺攝像機拍攝的照片如果存在重復區域或盲區，相鄰攝像頭所得圖像必須有重復區域，這也是重建原理的關鍵之處，視頻總線系統將利用既有標點居中進行圖像分割，然后合成，針對兩個攝像機的盲區會根據周圍已重建出的點云進行插值，從而重建出盲區。

對于封閉煤場現存的環境污染造成的影響加以消除，以攝像頭到煤堆的距離，粉塵不會造成影響，系統不會把微小的粉塵當作特征點。對于光線問題，重建時提取特征點采用SIFT算法，對亮度保持不變性，合理情況下，亮度對重建結果不造成影響。

視頻總線和視覺服務單元作為核心處理系統，負責請求和接收二維圖像，進行三位重建，信號控制等工作，是整個項目的控制和處理中心。

◎系統組成主要包括：（1）監控模塊負責高清圖像的采集，攝像頭的焦距等參數設置。（2）盤煤模塊負責盤煤過程，包括圖像預處理，三位重建，體積計算等。（3）記憶模塊負責對過往數據的存儲，根據用戶需求，可以查看以前的煤場視頻、盤煤結果等。

◎系統特點：實時監控煤場，根據需求可觀測煤場任何位置。自動定時盤煤，通過信號控制自動獲取圖像并進行三維重建，定時盤煤。具有記憶功能，可對煤場進行錄制，后期可根據需要查看煤場情況。計算機視覺監控器作為人機交互的窗口，執行監視和控制兩大功能。

◎監視：煤堆的三維實時渲染，主要包括點云的各角度旋轉、瀏覽，以及體積、倉位、煤質展示。信息查詢，主要包括煤質的入庫、出庫情況，歷史記錄等。

◎控制：相機云臺的上下、左右步進控制。一鍵盤煤，通過信號控制將圖像獲取，三維重建等操作一體化，操作簡單易上手。現場查看，通過控制瀏覽棚內視頻信息。

（作者單位：華電國際山東信息管理有限公司）