混合第三方庫(kù)視頻系統(tǒng)接口設(shè)計(jì)與實(shí)現(xiàn)

張志杰 楊碩

摘 要：視頻監(jiān)控系統(tǒng)是計(jì)算機(jī)應(yīng)用中的重要領(lǐng)域之一。數(shù)字化攝像頭網(wǎng)絡(luò)化之后，監(jiān)控系統(tǒng)正在不斷引入新的功能，為使現(xiàn)有監(jiān)控系統(tǒng)能更好地應(yīng)對(duì)復(fù)雜環(huán)境，滿足不同監(jiān)控要求，就需要追加新功能，在系統(tǒng)架構(gòu)與設(shè)計(jì)上進(jìn)行調(diào)整。因此，如何將多個(gè)第三方軟件與現(xiàn)有監(jiān)控系統(tǒng)進(jìn)行銜接就成為需要解決的重要問(wèn)題。論文以多個(gè)第三方算法庫(kù)整合為案例，分析、改進(jìn)并拓展其思路，提出一種通用的第三方軟件與現(xiàn)有監(jiān)控系統(tǒng)進(jìn)行銜接的接口設(shè)計(jì)方案。該方案中，多個(gè)第三方軟件按照系統(tǒng)功能，采用分層、分模塊的方式整合入系統(tǒng)，接口按照數(shù)據(jù)類型的不同分類，功能相對(duì)獨(dú)立、標(biāo)準(zhǔn)統(tǒng)一。該方案經(jīng)實(shí)踐檢測(cè)，具有簡(jiǎn)單、快速、高效、易于二次開(kāi)發(fā)等優(yōu)點(diǎn)。

關(guān)鍵詞：智能監(jiān)控;系統(tǒng)架構(gòu);模塊化設(shè)計(jì);接口設(shè)計(jì);數(shù)據(jù)傳輸;深度相機(jī)

中圖分類號(hào)：TP31文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-1302（2019）09-00-03

0 引 言

現(xiàn)有物聯(lián)網(wǎng)監(jiān)控系統(tǒng)的功能正在日益多元化。例如后臺(tái)服務(wù)器算法與深度學(xué)習(xí)相結(jié)合，使得監(jiān)控的智能水平取得了長(zhǎng)足進(jìn)步[1];主從-PTZ攝像頭的引入形成了多個(gè)攝像頭組，能夠完成之前單個(gè)攝像頭無(wú)法完成的工作[2];具有深度信息的攝像頭能夠從三維立體的角度重新進(jìn)行監(jiān)控[3]。同時(shí)，與視頻監(jiān)控系統(tǒng)有關(guān)的其他技術(shù)也在迅猛的發(fā)展之中，例如基于FPGA，DSP芯片，每個(gè)攝像頭能夠完成若干前端處理，從而降低對(duì)通信帶寬的要求[4];基于USB 2.0數(shù)據(jù)傳輸技術(shù)，可使視頻數(shù)據(jù)傳輸?shù)乃俣瘸杀短岣?基于云存儲(chǔ)技術(shù)使得視頻數(shù)據(jù)的存儲(chǔ)、訪問(wèn)與相關(guān)運(yùn)算能夠并行、遠(yuǎn)程處理，同時(shí)實(shí)現(xiàn)了海量視頻數(shù)據(jù)以及相關(guān)若干技術(shù);基于GPU芯片性能的提升，視頻、圖像的處理速度較之前有了很大提高[5-6]。

對(duì)現(xiàn)有監(jiān)控系統(tǒng)而言，新的功能、應(yīng)用領(lǐng)域正在形成，而這些新應(yīng)用解決方案的實(shí)現(xiàn)既需要新的硬件，又需要新的軟件;既可以選擇自行開(kāi)發(fā)，也可以直接集成第三方軟硬件包。自行開(kāi)發(fā)與集成第三方軟件包相比，各有優(yōu)劣。

以計(jì)算機(jī)視覺(jué)應(yīng)用中的第三方軟件包為例，現(xiàn)有第三方算法庫(kù)較多，能夠支持的應(yīng)用也較多，如目標(biāo)識(shí)別、行為檢測(cè)、深度學(xué)習(xí)、深度信息等。如果均采用自行研發(fā)的方式進(jìn)行實(shí)現(xiàn)，應(yīng)用程序的穩(wěn)定性與處理速度將完全取決于開(kāi)發(fā)者自身的能力與水平;如果開(kāi)發(fā)者水平高，不僅能夠在功能的選擇上擁有絕對(duì)的自主權(quán)，還可以通過(guò)優(yōu)化與功能裁剪實(shí)現(xiàn)更高的系統(tǒng)穩(wěn)定性與運(yùn)行速度;但如果研發(fā)者水平受限，則程序的表現(xiàn)將無(wú)法預(yù)測(cè)。

系統(tǒng)集成直接使用第三方軟件包，其程序代碼的編寫(xiě)水平完全取決于第三方軟件包，在搭設(shè)系統(tǒng)的同時(shí)，其應(yīng)用服務(wù)的質(zhì)量是同質(zhì)化的，難分伯仲;對(duì)用戶的服務(wù)支持則完全取決于第三方軟件包，無(wú)過(guò)多自主權(quán)。

至于涉及的第三方硬件的軟件開(kāi)發(fā)包無(wú)需多言，絕大多數(shù)研發(fā)者都無(wú)力進(jìn)行新硬件的設(shè)計(jì)、制造與相應(yīng)軟件開(kāi)發(fā)，均以使用第三方硬件為主。

1 深度相機(jī)

以深度算法的應(yīng)用作為案例進(jìn)行現(xiàn)有視頻系統(tǒng)接口的案例解析。

在原有視頻監(jiān)控系統(tǒng)中添加深度信息，需要進(jìn)行相關(guān)功能的研發(fā)，首先需要硬件的支持，而新的硬件往往自帶第三方開(kāi)發(fā)包，可供開(kāi)發(fā)者二次開(kāi)發(fā)。

深度相機(jī)（又名3D相機(jī)）是指可通過(guò)距離信息獲取物體之間的位置關(guān)系，能夠區(qū)分前景與后景;使用相機(jī)獲取的深度信息對(duì)目標(biāo)圖像的分割、標(biāo)記、識(shí)別、跟蹤等傳統(tǒng)應(yīng)用仍然有效，而且可以根據(jù)深度信息進(jìn)行改進(jìn)與提高;借助深度信息與2D相機(jī)無(wú)法獲取數(shù)據(jù)與信息，但進(jìn)行算法的設(shè)計(jì)與改進(jìn)后便能夠快速完成對(duì)目標(biāo)的識(shí)別與追蹤，進(jìn)行復(fù)雜目標(biāo)的狀態(tài)行為判讀[7-8]。

目前深度相機(jī)包括TOF（Time of Fligh，TOF）、結(jié)構(gòu)光、激光掃描等，主要用于機(jī)器人、互動(dòng)游戲等。其中較多指TOF相機(jī)[9-10]，微軟第二代Kinect v2采用的就是TOF技術(shù)，在30 fps條件下能夠?qū)崿F(xiàn)1 920×1 080的顏色分辨率、512×424的深度分辨率，最多支持6人的姿態(tài)識(shí)別，每人25個(gè)關(guān)節(jié)點(diǎn)，檢測(cè)范圍最遠(yuǎn)可達(dá)4 m，水平有效角度最大為70°，垂直有效角度最大為60°。

以激光散斑圖像深度信息獲取方法為例，深度相機(jī)實(shí)現(xiàn)這些功能的工作原理：經(jīng)過(guò)圖像預(yù)處理后的輸入散斑圖和參考散斑圖寫(xiě)入多條行形成輸入散斑窗、參考散斑窗，在輸入散斑窗中提取中心相同、窗口大小不同的圖像塊，對(duì)應(yīng)參考散斑窗的匹配散斑窗，以搜索策略并且求最小SAD方法，搜索最佳匹配塊，得到最佳偏移量，再通過(guò)參考閾值進(jìn)行篩選，自適應(yīng)選擇某一圖像塊對(duì)應(yīng)的最佳偏移量作為當(dāng)前圖像塊中心點(diǎn)的最佳偏移量，然后通過(guò)深度計(jì)算公式得到其深度信息[11-12]。

由上可見(jiàn)，該方法涉及的數(shù)學(xué)公式較多，運(yùn)算量較大，同時(shí)，類似30 fps條件的視頻參數(shù)對(duì)相關(guān)計(jì)算的實(shí)時(shí)性提出了較高要求。現(xiàn)在一般的解決方案為依靠FPGA，DSP進(jìn)行相關(guān)運(yùn)算，這就涉及到了與硬件相關(guān)的第三方開(kāi)發(fā)包。

以第三方OpenCV軟件包與硬件相關(guān)的HLS算法庫(kù)進(jìn)行接口設(shè)計(jì)層次化、模塊化說(shuō)明。

2 接口的層次化、模塊化設(shè)計(jì)

現(xiàn)有視頻監(jiān)控系統(tǒng)在進(jìn)行接口層次化、模塊化設(shè)計(jì)時(shí)可以參考HLS算法庫(kù)與OpenCV軟件包進(jìn)行集成的案例。在該案例應(yīng)用中，支持深度相機(jī)的系統(tǒng)被設(shè)計(jì)用來(lái)實(shí)現(xiàn)深度相關(guān)算法。

Vivado高層次綜合（Vivado High-Level Synthesis，HLS）在所有HLx版本中可直接使用C，C++以及System C語(yǔ)言規(guī)范對(duì)Xilinx可編程器件進(jìn)行編程，HLS使系統(tǒng)和設(shè)計(jì)架構(gòu)師支持ISE?和Vivado設(shè)計(jì)環(huán)境，無(wú)需手動(dòng)創(chuàng)建RTL便能夠快速創(chuàng)建IP，包含HLS流庫(kù)，HLS Math，HLS視頻，HLS IP，HLS線性代數(shù)，HLS DSP庫(kù)等內(nèi)容。HLS在該案例中的主要功能是利用硬件加速相應(yīng)的OpenCV應(yīng)用。

OpenCV（Open Source Computer Vision Library，OpenCV）是一個(gè)基于BSD許可（開(kāi)源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)，可運(yùn)行在Linux，Windows，Android和Mac OS操作系統(tǒng)上。OpenCV輕量級(jí)且高效—由一系列C函數(shù)和少量C++類構(gòu)成，同時(shí)提供Python，Ruby，Matlab等語(yǔ)言接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺(jué)方面的諸多通用算法。OpenCV在該案例中的主要功能是進(jìn)行深度信息相關(guān)算法設(shè)計(jì)與應(yīng)用。系統(tǒng)層結(jié)構(gòu)與模塊接口示意如圖1所示。

由圖1可知，不同第三方庫(kù)進(jìn)行集成時(shí)，彼此之間的業(yè)務(wù)流按照數(shù)據(jù)類型的不同需要選擇不同的接口—在OpenCV與HLS之間進(jìn)行圖像處理時(shí)需要Axivideo2Mat與Mat2Axivideo接口。而在OpenCV與HLS之間進(jìn)行視頻處理時(shí)，僅需Mat2Axivideo接口。其接口類型根據(jù)數(shù)據(jù)類型的不同而變化。OpenCV與HLS部分接口函數(shù)示意如圖2所示。

從圖2中可以看出，在視頻與圖像分析的應(yīng)用中，為能夠充分利用深度相機(jī)的深度信息，需要OpenCV與HLS各自按照數(shù)據(jù)類型的不同采用不同的接口函數(shù)進(jìn)行處理，并根據(jù)需要進(jìn)行不同數(shù)據(jù)類型之間的轉(zhuǎn)換，例如從Mat到video，從Mat到hlsMat，或者從video到Mat，從hlsMat到Mat。

由此可見(jiàn)，接口就是進(jìn)行的一系列數(shù)據(jù)類型轉(zhuǎn)換，轉(zhuǎn)換的最終目的是為不同算法提供符合其輸入要求的數(shù)據(jù)。

3 數(shù)據(jù)接口的標(biāo)準(zhǔn)化

接口（Interface）是一系列操作的集合，在軟件架構(gòu)中，強(qiáng)調(diào)模塊之間的數(shù)據(jù)交換操作。為拓展模塊應(yīng)用范圍、進(jìn)行二次開(kāi)發(fā)、與其他系統(tǒng)集成，尤其要適應(yīng)未來(lái)的技術(shù)趨勢(shì)，就需要進(jìn)行數(shù)據(jù)接口的標(biāo)準(zhǔn)化[8]。

數(shù)據(jù)接口的標(biāo)準(zhǔn)化首先需要明確數(shù)據(jù)的類型。在視頻監(jiān)控系統(tǒng)中，有效數(shù)據(jù)類型主要包括圖像、視頻以及其他數(shù)據(jù)、狀態(tài)數(shù)據(jù)四大類。作為數(shù)據(jù)接口的標(biāo)準(zhǔn)化內(nèi)容之一，首先需要統(tǒng)一的內(nèi)容較多，如圖像大小、圖像類型、視頻幀數(shù)、色彩模型、數(shù)據(jù)格式、數(shù)據(jù)長(zhǎng)度、數(shù)據(jù)實(shí)時(shí)性等，數(shù)據(jù)類型與業(yè)務(wù)流程相同，是進(jìn)行劃分的兩大要素。

對(duì)不同型號(hào)、不同設(shè)備、不同參數(shù)的視頻，需根據(jù)效果以及實(shí)驗(yàn)進(jìn)行對(duì)比，降高升低。高參數(shù)設(shè)備采集的視頻信息需進(jìn)行預(yù)處理，以達(dá)到同一標(biāo)準(zhǔn);同樣，對(duì)達(dá)不到參數(shù)要求的設(shè)備，可結(jié)合金字塔法等進(jìn)行預(yù)處理，使之達(dá)到同一標(biāo)準(zhǔn)。標(biāo)準(zhǔn)統(tǒng)一后，對(duì)數(shù)據(jù)的通信速度、數(shù)據(jù)的后期處理速度、處理精確度、存儲(chǔ)速度、讀取速度等多項(xiàng)指標(biāo)都有明顯改進(jìn)。

統(tǒng)一視頻處理輸出后的數(shù)據(jù)格式是標(biāo)準(zhǔn)化的重點(diǎn)。視頻監(jiān)控系統(tǒng)采集視頻信息，然后交由后臺(tái)服務(wù)器進(jìn)行視頻信息的處理，其處理結(jié)果（系統(tǒng)輸出）是應(yīng)用層其他系統(tǒng)需要的輸入，因此需進(jìn)一步規(guī)范視頻監(jiān)控系統(tǒng)處理后的數(shù)據(jù)格式。

對(duì)視頻監(jiān)控系統(tǒng)處理后的數(shù)據(jù)，可采用視頻、圖像、與文本/XML等結(jié)合的方式。其中，對(duì)視頻而言，需要規(guī)范每秒多少幀、每一幀的寬高、色彩模型、ROI位置及長(zhǎng)寬等;對(duì)圖像而言，需要規(guī)范寬高、色彩模型、ROI位置及長(zhǎng)寬等，這里的參數(shù)應(yīng)該與視頻參數(shù)完全吻合，只是視頻的參數(shù)多于圖像參數(shù)而已;對(duì)于文本/XML而言，需要對(duì)視頻、圖像進(jìn)行編號(hào)，對(duì)應(yīng)編號(hào)保留所有視頻、圖像處理后的相關(guān)信息。

為最大限度保持算法設(shè)計(jì)上的靈活性，可對(duì)同一視頻/圖像利用算法庫(kù)進(jìn)行多種不同數(shù)據(jù)格式的轉(zhuǎn)換，通過(guò)不同的算法得到不同的輸出;與不同參數(shù)需求的新設(shè)備進(jìn)行數(shù)據(jù)通信;集成不同的第三方庫(kù)，從而較好地解決系統(tǒng)的二次開(kāi)發(fā)問(wèn)題。

圖3所示為一種混合第三方庫(kù)支持的車(chē)牌定位算法及其得到的車(chē)牌定位效果。對(duì)于成功定位的車(chē)牌，使用了文獻(xiàn)[13]中提到的車(chē)牌字符分割算法并將字符以二值化方式顯示。

第三方視頻處理庫(kù)為OpenCV2.4.9，在Windows 7操作系統(tǒng)上借助Qt5.0實(shí)現(xiàn)，其中部分功能函數(shù)使用了GPU加速實(shí)現(xiàn)。主要硬件環(huán)境為T(mén)hinkPad x230筆記本電腦，Core i3（2.4 GHz）四核CPU，8G內(nèi)存。實(shí)驗(yàn)數(shù)據(jù)集包含800幅含車(chē)牌的圖像以及400幅不含車(chē)牌的圖像。

實(shí)驗(yàn)測(cè)試對(duì)象中包含了大部分復(fù)雜環(huán)境，如顏色干擾（“湘BY2054”和“粵JPG999”的車(chē)身均為藍(lán)色），傾斜的車(chē)牌（“粵CFL980”“遼ANB082”“粵B0PA09”），復(fù)雜的背景和光照條件（“遼M66B66”和“浙BY1V13”）等。從結(jié)果可以看出：混合第三方庫(kù)支持的車(chē)牌定位算法在復(fù)雜條件下均能夠準(zhǔn)確定位車(chē)牌，并能夠從車(chē)牌上準(zhǔn)確讀取車(chē)牌字符[13]。

4 結(jié) 語(yǔ)

不同第三方庫(kù)進(jìn)行集成時(shí)，彼此之間的業(yè)務(wù)流需按照數(shù)據(jù)類型的不同來(lái)選擇接口。在軟件架構(gòu)中，強(qiáng)調(diào)模塊之間的數(shù)據(jù)交換操作。為拓展模塊應(yīng)用范圍、進(jìn)行二次開(kāi)發(fā)、與其他系統(tǒng)集成，就需要進(jìn)行數(shù)據(jù)接口的標(biāo)準(zhǔn)化。數(shù)據(jù)接口的標(biāo)準(zhǔn)化首先需要明確數(shù)據(jù)類型，然后盡量統(tǒng)一模塊之間處理輸出的數(shù)據(jù)格式。

在系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)中采用論文中提到的解決方案，在一定程度上解決了原有系統(tǒng)架構(gòu)適應(yīng)性差、調(diào)整困難的缺陷，能夠借助分層次與模塊化手段來(lái)提高系統(tǒng)穩(wěn)定性，并借助第三方庫(kù)提高系統(tǒng)核心運(yùn)算的速度，易于二次開(kāi)發(fā)。在工程應(yīng)用中，該方法可作為一種快速軟件原型開(kāi)發(fā)的輔助手段，具有較為廣泛的應(yīng)用場(chǎng)景。

參 考 文 獻(xiàn)

[1]管皓，薛向陽(yáng)，安志勇.深度學(xué)習(xí)在視頻目標(biāo)跟蹤中的應(yīng)用進(jìn)展與展望[J].自動(dòng)化學(xué)報(bào)，2016，42（6）：834-847.

[2] WAN D，ZHOU J，ZHANG D. A Spherical Rectification for Dual-PTZ-Camera System[C]// IEEE International Conference on Acoustics，Speech and Signal Processing. IEEE Xplore，2007：I-777-I-780.

[3]向?qū)W勤，潘志庚，童晶.深度相機(jī)在計(jì)算機(jī)視覺(jué)與圖形學(xué)上的應(yīng)用研究[J].計(jì)算機(jī)科學(xué)與探索，2011，5（6）：481-492.

[4]董青，朱洪翔，祁曉鵬.基于FPGA視頻合成系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)測(cè)量與控制，2016，24（4）：247-249.

[5] MITTAL S，VETTER J S. A survey of CPU-GPU heterogeneous computing techniques [J]. Acm computing surveys，2015，47（4）：69.

[6]張錦濤，趙驚濤，王真理.FPGA與GPU并行計(jì)算分析—以Kirchhoff疊前時(shí)間偏移為例[J].地球物理學(xué)進(jìn)展，2013，28（3）：1464-1471.

[7]向?qū)W勤，潘志庚，童晶.深度相機(jī)在計(jì)算機(jī)視覺(jué)與圖形學(xué)上的應(yīng)用研究[J].計(jì)算機(jī)科學(xué)與探索，2011，5（6）：481-492.

[8] XIANG X，PAN Z.Depth camera in computer vision and computer graphics： an overview [J]. Journal of frontiers of computer science & technology，2011，5（6）：481-492.

[9]胡淼.基于TOF相機(jī)的三維點(diǎn)云地圖創(chuàng)建和可視化研究[D].長(zhǎng)沙：湖南大學(xué)，2012.

[10]張旭東，吳國(guó)松，胡良梅，等.基于TOF三維相機(jī)相鄰散亂點(diǎn)云配準(zhǔn)技術(shù)研究[J].機(jī)械工程學(xué)報(bào)，2013，49（12）：8-16.

[11]葛晨陽(yáng)，鄭南寧，趙季中，等.一種激光散斑圖像深度感知方法及裝置，CN103810708A [P]. 2014：1-6.

[12]關(guān)柏青.基于主動(dòng)序列模糊圖像的運(yùn)動(dòng)估計(jì)和振動(dòng)測(cè)量[D].上海：上海交通大學(xué)，2007.

[13]楊碩，張波，張志杰.多特征融合的車(chē)牌定位算法[J].計(jì)算機(jī)應(yīng)用，2016，36（6）：1730-1734.