視頻拼接融合技術在斗輪機無人值守系統中的研究應用

串志強 周洪利

[摘 ? ?要]隨著數字化煤場信息化的快速發展，煤場管理人員和技術人員以及操作員缺乏視頻監控信息集成手段的認識，無法實現將有效的監控信息與實際的場景建立關聯，在斗輪機工作過程中可能會存在大量的盲點，無法實時掌握監控區域的整體實時狀況，無法最大化發揮出視頻監控的價值，故原有視頻監控模式在條形煤場斗輪機無人值守系統中無法滿足現實需求。提出一種實現視頻圖像融合的技術方案并成功應用于項目，系統采用視頻圖像特征提取、視頻圖像融合等算法，結合攝像機合理布局，完成對數字化條形煤場的圖像拼接與融合。結合項目實際情況，將煤場馬道上六個攝像機進行視頻融合，完成在一幅圖像中查看整個煤場的實時動態情況，實現了將視頻監控信息與傳感器信息進行有效融合，從而獲得實際應用場景的三維全景圖，提升故障診斷能力，將視頻監控應用提升一個臺階。為斗輪機設備、周邊設備及人員的工作安全提供有力的技術支撐和保障，為斗輪機無人值守系統安全運行提供決策支持。

[關鍵詞]全景拼接;圖像配準;圖像融合;特征點去噪

[中圖分類號]TM621 [文獻標志碼]A [文章編號]2095–6487（2022）01–0–04

[Abstract]With the rapid development of digital coal yard informatization， The managers， technicians and operators of coal yard are lack of large-scale discrete video information means of effective integration for the traditional video monitoring system， and can't associate the effective monitoring video with the real scene in isolation. There may be a lot of blind spots in the working process of bucket wheel， and they can't grasp the overall real-time situation of the monitoring area in real time， and can't maximize the use of video monitoring Therefore， the original video monitoring mode can not meet the practical needs in the unattended system of bucket wheel machine in strip coal yard. In this paper， a fusion algorithm of strip image and video image is proposed and applied to the project. Combined with the actual situation of the project， the video fusion of six cameras on the raceway of the coal yard is completed to view the real-time dynamic situation of the whole coal yard in one image， so as to effectively integrate， analyze and process massive video monitoring and various complex sensor information， so as to obtain the panoramic visualization and fault judgment ability in three-dimensional space-time， and enhance the application of video monitoring to a higher level steps. It provides strong technical support and guarantee for the safety of the bucket wheel machine equipment， peripheral equipment and personnel， and provides decision support for the safe operation of the unattended system of the bucket wheel machine.

[Keywords]panoramic mosaic; image registration; image fusion; feature point denoising

隨著攝像機應用技術的不斷演進和成熟，圖像拼接技術在視頻領域應用受到越來越多的重視。國內外很多研究者對其進行了不同方式的探索和研究，取得了一定的成果。在高空飛行拍攝森林圖像時，受到地理地貌、飛行高度、無人機穩定性、鏡頭分辨率等因素的影響，無人機只能一次獲取部分林區圖像。因此需要使用圖像拼接技術對拍攝圖像進行拼接，以此獲取整個林區全貌。然而，國內外大部分研究針對圖像拼接技術、視頻拼接技術發展起步較晚，技術尚未成熟完善。視頻拼接原理上雖然是多副圖像的拼接，但是在實際使用時應考慮同步性，這就需要發現一種效果更佳的圖像拼接技術來提高處理速度，保證同步性。

在傳統的視頻監控系統中只能觀察到攝像機周邊的情況，對于大場景觀察到的情況有一定的受限性，可能并不能清晰地觀察到對應場景的整體情況，視線相對比較狹窄，水平方向和垂直方向僅僅是在25°～70°，在傳統的視頻監控系統中，相關的操作人員或技術人員在根據視頻觀察實際情況時，對技術人員或者操作人員有比較高的要求，對場景的熟悉程度提出更高的要求，對多個屏幕來進行觀察分析時，只觀察其中某幾個視頻圖像，需要視線不停切換，因為每個圖像之間只是有比較小的區域存在區別，如此無形之中增加了工作人員的工作負擔，對正常運行操作有比較大的影響?？傊?，操作人員不能及時地從全場景觀察到對應具體的事物變化情況，可能存在安全隱患或事故的發生，存在一定的事故風險，不利于企業經營和生產的有序安全運行。

煤場管理人員、技術人員以及操作員對傳統的視頻監控系統缺乏有效集成的大場景在空間上分割、隔離視頻信息手段，不能迅速將孤立視頻內容與真實的場景相關聯。在斗輪機工作過程中可能會存在大量的盲點，無法實時掌握監控區域的整體實時狀況，無法最大化發揮出視頻監控的價值，故原有視頻監控模式在條形煤場斗輪機無人值守系統中無法滿足現實需求。

該系統首先是在軟件架構上的創新，將整個系統應用微服務架構的思想，將服務根據實際業務需求劃分為多個層級，盡可能減少服務的耦合度，更高更有效地利用服務器資源。另外，將位置上相關聯的視頻進行特征提取，完成特征篩選;采用拼接融合算法，完成圖像拼接以及深度融合，將位置相關聯的視頻圖像拼接成高分辨率、寬視角的完整圖像。該研究適用于比較開闊、場景比較單一可控的大場景區域或者工業場景，如煤場、礦場、港口等區域，該方案提高視頻使用效率，提升用戶體驗，共同提升視頻指揮體系或者應急指揮體系的價值。

1 系統關鍵流程與實施

本系統關鍵業務主要分為兩部分：①業務方面，結合大數據技術方面的應用;②視頻處理方面，包括原始視頻數據和融合視頻數據，以及結構化數據和非結構化數據。其主要流程如圖1所示。

（1）客戶端將業務請求（Request）數據發送給消息中間件（RocketMQ）服務。

（2）通過消息中間件服務將客戶端業務數據請求分發給管理服務。

（3）經過管理服務內部處理后，將返回的數據格式化。

（4）管理服務將處理好的數據通過消息中間件，將數據返回給UI客戶端。

（5）UI客戶端發送請求視頻融合。

（6）管理服務生成視頻融合任務，并制定相應的策略，同時負責動態負載均衡地將任務分配到比較空閑的視頻融合服務上進行計算。

（7）在管理服務生成任務和確定視頻融合服務后，將任務下發給制定的視頻融合服務上。

（8）視頻融合服務啟動任務后，通過GB28181協議從視頻監控服務拉取視頻流，并進行視頻融合算法計算。

（9）視頻融合服務將計算結果事實推送給UI客戶端，UI客戶端對融合后的視頻進行解碼播放。

其中結構化數據包含的流程包括：UI與管理服務，管理服務與視頻融合服務之間的消息通信;非結構化數據包括：與視頻監控服務之間視頻流存儲與拉取以及視頻融合服務與客戶端（Client）之間的視頻流拉取或推送。

2 視頻融合模型計算

2.1 視頻圖像配準

2.1.1 視頻圖像特征點提取

基于SIFT特征點的圖像匹配算法，需要采用的步驟為：①根據算法獲取相鄰圖像間的重疊區;②對重疊區做特征檢測，獲取特征點;③對特征點做特征匹配，以完成對圖像配準的前期數據準備。

2.1.2 特征點優化與去噪

在提取的特征點中，存在部分極值點不是關鍵點的情況，所以需要優化調對比度比較低的特征點，剔除處于圖像邊緣的特征點。達到更能符合實際情況以及特征點能夠精確反映真實情況的目的。另外，根據實際情況，劃分場景為敏感區域和非敏感區域，針對敏感區域增大特征點密度處理;針對實際場景中非敏感區域，降低特征點密度。對特征點所屬不同區域做加權處理，盡可能無限逼近現場情況。

2.1.3 特征匹配算法

在采用SIFT匹配算法時，通過算法找到最近鄰點與次近鄰點進行特征匹配。

2.2 視頻圖像融合

多個攝像機在不同方位對同一個場景進行拍攝，因為所處的方位不同可能會產生因為外部環境不同而造成圖像亮度不同的情況。，利用視頻融合技術可消除圖像重疊部分的拼接縫問題和亮度等問題。

3 實施效果

四期煤場共4個條形煤場，#2斗輪機在3.4號煤場作業，煤場東西長270 m，單個條形煤場寬45 m。2#斗輪機上方中間和北面有兩臺檢修馬道，上布置有10個球機，每條馬道布置5個，間隔45 m。本文選擇攝像頭6、攝像頭7和攝像頭8作為示例，煤場攝像機部署如圖2所示。

本系統設備采用海康網絡攝像機，型號為：DS-SDE7232IW-A（C），經過視頻圖像特征點提取、配準以及視頻圖像融合，實施效果如圖3和圖4所示。

另外，視頻融合后的結果如圖5所示，融合后基本上能夠覆蓋煤場的部分位置。

由上述結果所示，基本上滿足目前需求。

4 結論

本研究引入目前比較流行通用的大數據開發的微服務架構，對系統開發進行了有益的嘗試。算法方面，采用視頻圖像特征提取、視頻圖像融合等算法，完成對條形煤場的圖像拼接與融合，達到了整合數據、動態分析、實時處理海量視頻信息的目的，同時與各類復雜傳感器信息進行深度融合，通過上述數據整合獲得在三維時空中的全景可視及故障判斷能力的目的，同時也將視頻監控應用提升一個臺階。在數字化煤場安全運營方面，為斗輪機設備、周邊設備及人員的工作安全提供有力的技術支撐和保障，保障斗輪機無人值守安全運行。

參考文獻

[1] 陳淑清.一種改進的圖像無縫拼接算法[J].武夷學院學報，2016，35（6）：65-69.

[2] 梁高升. 基于多攝像頭的全景圖像拼接系統[D].濟南：濟南大學，2016.

[3] 楊艷春，李嬌，王陽萍.圖像融合質量評價方法研究綜述[J].計算機科學與探索，2018，12（7）：1021-1035.

[4] 朱煉，孫楓.夏芳莉，等.圖像融合研究綜述[J].傳感器與微系統，2014，33（2）：14-18.

[5] CHANG C H，SATO Y，CHUANG Y.Shape—preserving half-projective warps for image stitching[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition，2014：3254-3261.

[6] 資訊新視界編導.諾基亞推出虛擬現實攝像機OZO[J].上海國資，2015，26（8）：14.

[7] 王糍，周軍.圖像美感質量評價方法研究[J].網絡新媒體技術，2018，7（3）：19-24.

[8] CANNY J.A computational approach to edge detection [J].IEEE Transactions on Pattern analysis and Machine Intelligence，1986，8（6）：679-698.

[9] 鄒超洋.基于多攝像頭全景圖像拼接的實時視頻監控技術研究[D].廣州：華南理工大學，2014.

[10] 趙小川，何灝，繆遠誠.MATLAB數字圖像處理實戰[M].北京：機械工業出版社，2013.

[11] 劉瑞禎，于仕琪.OpenCV教程基礎篇[M].北京：北京航空航天大學出版社，2007.

[12] Rafael C. Gonzalez， Richard E. Woods， Steven L. Eddins. Digital Image Processing Using MATLAB（阮秋琦譯）[M].北京：電子工業出版社，2014.

[13] 朱云芳，葉秀清，顧偉康.視頻序列的全景圖拼接技術[J].中國圖象圖形學報，2006，11（8）：1150-1155.

[14] 苗立剛.視頻監控中的圖像拼接與合成算法研究[J].儀器儀表學報，2009，30（4）：857-861.

[15] 施明登，周鵬，白鐵成.全景圖像拼接技術在胡楊研究中的應用[J].湖南農業科學，2014，53（22）：5539-5542.

[16] 陸文周.Qt5開發及實例[M].北京：電子工業出版社，2015.

[17] 劉艷英.高清視頻切換技術的研究與實現[D].泉州：華僑大學，2014.

[18] 庫德強.基于工控機和PLC的監控系統的研究[D].沈陽：沈陽工業大學，2006v.

[19] Brown M， Lowe D.G. Automatic Panoramic Image Stitching using Invariant Features International Journal of Computer Vision[J]， 2007， 74（1）：59-73.

[20] Ozawa T， Kitani K.M， Koike H. Human-centric Panoramic Imaging Stitching[C]// AH12 Proceedings of the 3rd Augmented Human International Conference Article No.20， New York：ACM， 2012.

[21] 劉李緯.基于特征的多路視頻實時拼接技術的研究與實現[D].北京：北京工業大學，2015.

[22] 施明登，周鵬，白鐵成.全景圖像拼接技術在胡楊研究中的應用[J].湖南農業科學，2014，53（22）：5539-5542.

[23] 李宗辰，朱秀昌.基于VLC的Android多路視頻監控系統[J].現代電子技術，2013，36（24）：63-66.

[24] 趙書睿.全景圖像拼接關鍵技術研究[D].成都：電子科技大學，2013.

[25] 吳瓊.多攝像頭視頻融合系統的設計與實現[D].成都：電子科技大學，2013.

[26] 霍春寶，童帥，趙立輝.SIFT特征匹配的顯微全景圖拼接[J].遼寧工程技術大學學報（自然科學版），2015，34（1）：93-96.

[27] 徐杰，金湘亮，白瑞廣.一種改進的攝像頭視頻實時拼接方法[J].計算機工程與應用，2013，49（24）：179-181.

[28] 阮芹.實時視頻拼接系統關鍵技術研究[D].武漢：華中科技大學，2011.

[29] 尹文生，羅榆林，李世其.基于OpenCV的攝像機標定[J].計算機工程與設計，2007，28（1）：197-199.

[30] 張春林，余黃河.基于FPGA的圖像融合處理系統方案設計[J].信息安全與技術，2013，28（1）：59-61.

[31] 唐福明.圖像拼接中顏色校正及圖像融合研究[D].長沙：中南大學，2013.

[32] 朱偉，趙春光.OpenCV圖像處理編程實例[M].北京：電子工業出版社，2016.

[33] 張恒.基于SIFT的圖像拼接算法研究[D].天津：河北工業大學，2012.

[34] 薛佳樂，趙萌，張哲，等.針對大視差圖像拼接的顯性子平面配準[J].中國圖象圖形學報，2018，23（3）：323-332.

[35] 王震，許曉航，王靜，等.多路高清YUV視頻GPU實時拼接研究[J].計算機工程，2016，42（12）：314-320.

[36] XIANG T Z，XIA G S，BAI X，et al. Image Stitching by Line-guided Local Warping with Global Similarity Constraint[J].Pattern Recognition，2018，83：481-497.

[37] OTSU N. A threshold selection method from gray - level histograms[J]. IEEE transactions on systems， man， and cybemetics， 1979，9（1）：62-66.

[38] ZHANG C， XIE Y，LIU D， et al. Fast threshold image segmentation based on 2D fuzzy Fisher and random local optimized QPSO[J]. IEEE Transactions on Image Processing，2017，26（3）：1355-1362.

[39] 王偉，陸佩忠.數字圖像拼接技術[J].小型微型計算機系統，2006，27（7）：6.