一種基于多攝像頭的大場景遠(yuǎn)程實時監(jiān)控系統(tǒng)

甄 好，王連明

(1.東北師范大學(xué)物理學(xué)院，吉林 長春 130024；2.海南熱帶海洋學(xué)院海洋科學(xué)與技術(shù)學(xué)院，海南 三亞 572022)

0 引言

遠(yuǎn)程全景監(jiān)控可用于智能駕駛、遙感圖像觀測、工業(yè)園區(qū)監(jiān)控等領(lǐng)域[1-2].在軍事信息系統(tǒng)中也有著廣泛的應(yīng)用，戰(zhàn)場環(huán)境信息是影響指揮決策的關(guān)鍵部分，及時獲得有效、全面的戰(zhàn)場環(huán)境信息可使指揮官知曉自身情況、敵方情況，從而及時、有效地做出相應(yīng)決策[3].現(xiàn)有的視頻采集系統(tǒng)通常采用焦距、視場角不變的單一攝像頭進(jìn)行圖像采集，由于攝像頭焦距的限制，很難采集到大場景圖像.大范圍的視頻監(jiān)控多采用多個攝像頭，但在終端通常只分別顯示各個攝像頭采集到的圖像，沒有形成完整的大場景圖像，不利于使用者觀察.專業(yè)的魚眼攝像頭及360°全景攝像頭成本較高，采集到的圖像易發(fā)生畸變，且觀測的距離有限，很難推廣使用[4].目前遠(yuǎn)程監(jiān)控多采用網(wǎng)絡(luò)攝像頭，網(wǎng)絡(luò)攝像頭同樣存在焦距固定、視場角受限、無法采集大場景圖像的問題，此外，網(wǎng)絡(luò)攝像頭的傳輸速率通常只能達(dá)到100 MB，無法實現(xiàn)高速傳輸.

為解決以上問題，設(shè)計了一種基于多攝像頭的大場景遠(yuǎn)程實時監(jiān)控系統(tǒng)，系統(tǒng)采用多個普通的模擬攝像頭進(jìn)行視頻采集，節(jié)約了成本，而且便于操作.經(jīng)千兆以太網(wǎng)高速傳輸?shù)缴衔粰C(jī)后，通過OpenCV編寫圖像拼接程序并使用GPU對拼接程序進(jìn)行加速，可快速獲得全景圖像.

1 系統(tǒng)總體架構(gòu)

本文系統(tǒng)主要由視頻采集傳輸單元以及遠(yuǎn)程圖像拼接與顯示單元構(gòu)成.系統(tǒng)總體架構(gòu)如圖1所示.視頻采集傳輸單元主要負(fù)責(zé)對視頻進(jìn)行采集、處理、傳輸，該單元由視頻采集模塊和網(wǎng)絡(luò)傳輸模塊組成.視頻采集模塊使用攝像頭進(jìn)行采集，單個模塊最多可連接4個攝像頭.采集完畢后，將視頻數(shù)據(jù)送入視頻解碼器以及FPGA進(jìn)行處理.處理完畢后，將數(shù)據(jù)送入網(wǎng)絡(luò)傳輸模塊進(jìn)行傳輸，網(wǎng)絡(luò)傳輸模塊包括FPGA和千兆網(wǎng)卡芯片，可完成對數(shù)據(jù)包的打包及發(fā)送.為實現(xiàn)n個攝像頭圖像的采集，可通過交換機(jī)連接多個視頻采集傳輸單元，從而獲取更大場景的圖像.

圖1 系統(tǒng)總體架構(gòu)

遠(yuǎn)程圖像拼接與顯示單元由視頻接收與顯示模塊和圖像拼接與顯示模塊構(gòu)成，可完成對視頻的接收、顯示以及圖像的高速拼接.視頻接收與顯示模塊利用上位機(jī)網(wǎng)卡以及接收程序完成視頻數(shù)據(jù)的接收并經(jīng)過處理顯示單個攝像頭采集到的視頻.為滿足對大場景圖像的需求，圖像拼接與顯示模塊在上位機(jī)借助圖像拼接技術(shù)，完成了對大場景圖像的獲取，并借助GPU等工具加快了圖像拼接的速度.

2 視頻采集傳輸單元

2.1 視頻采集模塊

為獲取遠(yuǎn)距離的圖像，采用焦距較大的模擬攝像頭進(jìn)行采集.為便于后續(xù)處理，需將模擬攝像頭采集到的模擬視頻信號轉(zhuǎn)換為數(shù)字信號.本文設(shè)計采用BNC口作為模擬攝像頭的接口，借助TW2867視頻解碼芯片獲得數(shù)字視頻信號[5].FPGA具有高性能、低成本、靈活、穩(wěn)定等特點，可以調(diào)用多種外設(shè)實現(xiàn)對視頻數(shù)據(jù)的傳輸與處理，完成對數(shù)據(jù)的高速處理及操作.故采用FPGA作為主控芯片，完成所需功能.本單元視頻采集模塊框圖如圖2所示.

圖2 視頻采集模塊

為實現(xiàn)多路監(jiān)控、節(jié)省管腳，需在主控器FPGA中通過I2C接口配置TW2867內(nèi)部寄存器，使其配合108 MHz將四路時分復(fù)用數(shù)據(jù)復(fù)合至一路輸出.單個通道的視頻數(shù)據(jù)符合BT.656標(biāo)準(zhǔn).四路數(shù)據(jù)視頻時分復(fù)用后格式如圖3所示.

圖3 時分復(fù)用后數(shù)據(jù)格式

分離后的BT.656標(biāo)準(zhǔn)的圖像數(shù)據(jù)存在無效數(shù)據(jù)，進(jìn)行裁剪后可得到4∶2∶2的YCbCr數(shù)字視頻流.需將YCbCr視頻流數(shù)據(jù)通過計算轉(zhuǎn)換為RGB格式的數(shù)據(jù)，才能在顯示終端進(jìn)行顯示.計算公式為

R=1.164(a(Y)-16)+1.596(b(Cr)-128)，G=1.164(a(Y)-16)-0.813(b(Cr)-128)-0.392(c(Cb)-128)，B=1.164(a(Y)-16)+2.017(c(Cb)-128).

(1)

在FPGA中，為加快數(shù)據(jù)處理速度，采用三級流水線：通過移位相加計算每一個乘法、將乘法的結(jié)果相減、完成移位操作并進(jìn)行溢出檢查.這種處理方式減少了寄存器的使用，較好地處理了速度與延時的關(guān)系，降低了關(guān)鍵路徑的時延，完成由浮點型數(shù)計算出整型數(shù)的功能，得到RGB格式的數(shù)據(jù).

得到的RGB格式數(shù)據(jù)為隔行數(shù)據(jù)，需將其轉(zhuǎn)換為逐行數(shù)據(jù)以便在監(jiān)控端顯示.為了減少計算量、不損失分辨率，采用場間插值法，利用奇偶場合并成一幀圖像.該方法通過改變DDR2讀寫地址的映射實現(xiàn)轉(zhuǎn)逐行操作.為了實現(xiàn)對DDR2的控制，將控制DDR2的程序進(jìn)行了兩層封裝[6-7]：第一層封裝主要是借助狀態(tài)機(jī)實現(xiàn)指定長度的頁突發(fā)讀寫操作；第二層封裝可實現(xiàn)乒乓操作[8]，并根據(jù)讀、寫FIFO中的數(shù)據(jù)個數(shù)決定是執(zhí)行突發(fā)讀操作還是突發(fā)寫操作.

2.2 網(wǎng)絡(luò)傳輸模塊

相較于串口和USB等數(shù)據(jù)傳輸方式，網(wǎng)卡可快速傳輸大量數(shù)據(jù)，準(zhǔn)確性較高、傳輸距離遠(yuǎn)，更適用于遠(yuǎn)程傳輸[9-10].我們選用千兆網(wǎng)卡RTL8211EG芯片將數(shù)據(jù)通過網(wǎng)線以及交換機(jī)傳輸?shù)竭h(yuǎn)程圖像拼接與顯示單元，RTL8211EG到MAC(FPGA)之間的傳輸接口采用GMII接口.其向FPGA輸出125 MHz的參考時鐘，可與遠(yuǎn)程圖像拼接與顯示單元自協(xié)商匹配成千兆網(wǎng)傳輸模式進(jìn)行傳輸.通過交換機(jī)進(jìn)行擴(kuò)展，可完成無限多個攝像頭數(shù)據(jù)的傳輸.本文設(shè)計以8個攝像頭為例，使用NETGEAR的8口千兆GS308交換機(jī)完成硬件連接及數(shù)據(jù)傳輸.

網(wǎng)卡只具有PHY層功能，所以需要在FPGA內(nèi)部完成對數(shù)據(jù)包的打包，傳輸視頻采集模塊處理完畢的數(shù)據(jù).網(wǎng)絡(luò)傳輸模塊框圖如圖4所示.

圖4 網(wǎng)絡(luò)傳輸模塊框圖

相較于TCP，UDP是無連接的協(xié)議，一次握手快速建立連接即可傳輸數(shù)據(jù)，為實現(xiàn)高速傳輸，采用UDP協(xié)議并利用狀態(tài)機(jī)完成對以太網(wǎng)幀的發(fā)送[11]，其狀態(tài)轉(zhuǎn)移如圖5所示.

圖5 數(shù)據(jù)發(fā)送狀態(tài)機(jī)

程序從空閑狀態(tài)開始運行，進(jìn)入發(fā)送前導(dǎo)碼狀態(tài)，待前導(dǎo)碼以及幀起始定界符發(fā)送完畢，開始發(fā)送以太網(wǎng)、IP、UDP首部數(shù)據(jù).為了便于修改，將以上數(shù)據(jù)存在ROM表中，當(dāng)狀態(tài)機(jī)處于相應(yīng)狀態(tài)時，采用地址尋址的方式將數(shù)據(jù)取出并發(fā)送.在FPGA端ROM表中設(shè)置不同端口號，可通過端口號區(qū)分不同的視頻采集模塊.

南朝詩文用典遭人詬病之處，即在于因炫才逞博而使事忘義，故有“淫文破典”之弊；而有人因這一弊端，便認(rèn)為抒情性詩文不貴于用事，從而反對用典，又未免矯枉過正。從沈約對用典的態(tài)度中可以看到，他實際上是要求能在直尋與隸事、性情與才學(xué)之間，找到適當(dāng)?shù)钠胶恻c。這樣，用典對抒情就會起到積極的作用。這個平衡點簡單地說就是人工與自然的統(tǒng)一，雖出機(jī)杼，而泯于自然。

為了提升傳輸?shù)乃俣龋褂闷古也僮鲗?shù)據(jù)寫入寄存器中，讀取時，先讀取第1張圖片的第1行數(shù)據(jù)，此時第2張圖片的第1行數(shù)據(jù)也已經(jīng)存儲好，而第1張圖片的第2行數(shù)據(jù)并未存儲完畢，故先讀取第2張圖片的第1行，接下來讀取第3和4張圖片的第1行.再讀取第1張圖片的第2行，直至完成4張圖片的傳輸.為了在上位機(jī)區(qū)分不同的攝像頭，將UDP數(shù)據(jù)的第1個8 B數(shù)據(jù)作為攝像頭標(biāo)記.

完成一個UDP數(shù)據(jù)包傳輸后，進(jìn)入CRC校驗狀態(tài).循環(huán)冗余檢查(CRC)是一種數(shù)據(jù)傳輸檢錯功能，可保證數(shù)據(jù)傳輸?shù)恼_性和完整性.CRC校驗數(shù)據(jù)發(fā)送完畢后，進(jìn)入發(fā)送結(jié)束狀態(tài)，網(wǎng)絡(luò)設(shè)備和組件在接收一幀之后，需要一段短暫的時間來恢復(fù)并為接收下一幀做準(zhǔn)備.

3 遠(yuǎn)程圖像拼接與顯示單元

3.1 視頻接收與顯示模塊

圖6 上位機(jī)圖像處理程序

遠(yuǎn)程監(jiān)控處理系統(tǒng)使用英特爾公司的Intel? Ethernet Connection I219-V的網(wǎng)卡芯片接收數(shù)據(jù).借助MFC編寫接收程序，可完成多路實時監(jiān)控.上位機(jī)程序進(jìn)行初始化之后，創(chuàng)建套接字并綁定套接字和IP地址，在開始鍵按下的情況下接收數(shù)據(jù)，將圖像存入數(shù)據(jù)緩沖區(qū)，一張圖像緩存完畢后開啟對應(yīng)線程進(jìn)行數(shù)據(jù)處理，采用量化補(bǔ)償?shù)姆椒ǎ瑢鬏數(shù)腞GB565數(shù)據(jù)轉(zhuǎn)換為可以直接顯示的RGB888數(shù)據(jù)[12]，待480行全部轉(zhuǎn)換完畢后，開始顯示圖像.無須接收新圖像時，關(guān)閉套接字并清除套接字庫.

每個接收程序只能綁定一個端口號，采用交換機(jī)進(jìn)行擴(kuò)展后，需在上位機(jī)開啟多個程序接收來自不同圖像傳輸處理系統(tǒng)的圖像.

3.2 圖像拼接與顯示模塊

為了使本文設(shè)計更好地應(yīng)用于大場景監(jiān)控以及機(jī)器視覺中，進(jìn)行圖像拼接是十分重要的.實現(xiàn)圖像拼接主要包含圖像獲取、圖像預(yù)處理、圖像配準(zhǔn)和圖像融合等過程.為完成高速拼接，需使用NVIDA 公司的GeForce GT730顯卡對拼接程序進(jìn)行加速.拼接流程如圖7所示.

圖7 圖像拼接流程

為了保證圖像拼接的實時性以及較高的成功率，采用SURF算法檢測圖像特征點[13-14]，并對重疊部分的圖像進(jìn)行配準(zhǔn)操作，將所有圖像兩兩匹配，將置信度高于門限的所有匹配合并到一個集合中.

在GPU上實現(xiàn)SURF算法，需要對不同階段的算法進(jìn)行并行化分.算法主要分為積分圖像的計算、特征點檢測、特征描述三部分[15].每一部分對圖像進(jìn)行復(fù)雜運算時，可利用GPU并行計算的優(yōu)勢，將積分圖像的運算映射到GPU上，分別開啟線程計算所需數(shù)據(jù).

將SURF算法映射到GPU上時，需先用CPU將相應(yīng)圖像轉(zhuǎn)換為灰度圖，并上傳到GPU中進(jìn)行下一步運算，得到相應(yīng)信息后傳回內(nèi)存中.根據(jù)Amdahl定律，此時加載圖像及灰度圖轉(zhuǎn)換所占的時間變大，成為限制拼接時間的關(guān)鍵因素[16].因此需使用多核CPU進(jìn)行計算，將加載圖像及灰度圖轉(zhuǎn)換操作移至另一個CPU核上，與GPU對圖像的處理并行進(jìn)行.

攝像頭的擺放與參數(shù)對圖像拼接亦會造成一定影響，在程序編寫中，我們添加相機(jī)標(biāo)定部分的內(nèi)容[17]，采用光束平差法，對相機(jī)參數(shù)進(jìn)行矯正，并對圖像進(jìn)行柱面投影[18]，降低視差的影響.圖像拼接完成后，為減小拼接痕跡，在圖像的拼接處需進(jìn)行接縫查找并在接縫處用多頻段融合法做融合處理[19].

在攝像機(jī)固定之后，圖像拼接相應(yīng)的參數(shù)不會再發(fā)生變化，本程序在初始化部分完成特征提取、匹配、變換矩陣等參數(shù)的計算.拼接時不再逐幀對以上信息進(jìn)行計算.

4 系統(tǒng)總體測試

采用8個攝像頭采集8路數(shù)據(jù)通過視頻采集傳輸單元傳輸至遠(yuǎn)程圖像拼接與顯示單元.經(jīng)過測試圖像清晰無抖動，可達(dá)到實時性傳輸，傳輸速率達(dá)912 MB，實驗結(jié)果如圖8和9所示.

圖8 端口號8080和9090接收界面

圖9 發(fā)送數(shù)據(jù)速度

圖像拼接的時間與圖像的復(fù)雜程度、圖像的拍攝距離以及圖像的個數(shù)有著密切的關(guān)系.實驗中，需注意攝像頭的擺放問題，為采集到高質(zhì)量的拼接圖像.需盡可能將攝像頭擺放在同一水平面上，并在多臺攝像頭拍攝的圖片至少存在30%重合的條件下將攝像頭間隔一定距離排開，若場景距離較遠(yuǎn)、視野較大，可采用平行放置的模式擺放攝像頭，若須獲得全景圖像，可結(jié)合攝像頭焦距及視角，采用旋轉(zhuǎn)放置的模式擺放攝像頭.本次實驗對圖8中采集到圖像進(jìn)行拼接，得到結(jié)果如表1及圖10所示.結(jié)果表明，本系統(tǒng)可完成8張圖像的采集及拼接，經(jīng)初始化之后，拼接時間可達(dá)0.38 s.拼接后圖像較為清晰完整，沒有出現(xiàn)重影、明顯色差或接縫.

表1 遠(yuǎn)程拼接測試結(jié)果

拼接8張遠(yuǎn)程圖像效果見圖10.拼接后全景圖清晰度較高，接縫處并無明顯的拼接痕.

圖10 8張遠(yuǎn)程圖片拼接效果

5 結(jié)論

本系統(tǒng)借助模擬攝像頭、視頻解碼器、FPGA、千兆網(wǎng)卡、交換機(jī)、GPU以及計算機(jī)設(shè)計了視頻采集傳輸單元以及遠(yuǎn)程圖像拼接與顯示單元，完成了對大場景圖像的獲取及傳輸.可通過交換機(jī)連接多個視頻采集傳輸單元，獲取多個攝像頭的圖像，盡可能多的獲取場景內(nèi)的信息，并通過千兆網(wǎng)卡完成高速傳輸，借助上位機(jī)以及GPU完成對圖像拼接，得到信息較為完整的全景圖像，并可達(dá)到較高的拼接速度.