基于三維視頻融合的隧道運營管理創新應用研究

伍朝輝, 常 瑩, 李 青, 蔡蓉賓

(1.交通運輸部科學研究院， 北京 100029； 2. 上海城建城市運營(集團)有限公司， 上海 201103； 3. 上海市道路運輸管理局， 上海 200011)

0 引言

隧道是交通基礎設施的重要組成部分，隧道具有線狀工程、半封閉空間、結構隱蔽等典型特點，故其安全運營要求高、交通保通壓力大。采用數字化、智能化手段[1-2]，監測隧道交通要素變化、掌握交通運行規律、預測交通發展趨勢，并運用于隧道交通運營管理與服務的各個環節，將會產生巨大的社會價值和經濟效益。

國內外對于隧道運營場景的監控大多通過矩陣式視頻監控的方式實現[3-5]，并基于視頻監控開展日常運營管理業務。2004年歐盟頒布了跨歐洲公路網的隧道最低安全要求指令[6]，要求歐盟所有國家基于這一指令進行隧道運營安全風險評估。2008年世界道路協會也提出了公路隧道運營監控與安全管理方法[7]。Cabrera等[8]提出了一種隧道車輛檢測、跟蹤與識別的綜合解決方案，車輛通過隧道中非重疊的相機網絡被識別與跟蹤，兼顧了實時性、較差的成像條件和分散式架構等實際限制。李峰[9]結合圖像拼接與畸變圖像校正，選用魚眼相機對隧道路況進行監控，實現畸變較小、畫面較大的隧道場景覆蓋。陳一飛[10]設計并實現了一套三維全景隧道監控監測系統，將設計、施工、勘察、監測信息與三維全景圖像進行融合，但這一方案只適用于固定點位的全景式數據集成。劉志輝等[11]研發了一種基于IoT的智慧隧道運營管控系統，集成綜合監控、應急救援、養護管理、數據分析與輔助決策4個子系統，對隧道內交通及環境數據進行監測，以及時發現險情和事故，但并沒有解決子系統數據分離的問題。陳浩等[12]提出一種基于BIM+GIS的高速公路隧道智慧監控平臺，采用二三維一體化、動靜態數據融合實現隧道的數字化、立體化、精準化監控管理，但并沒有對視頻進行三維融合。李建利等[13]針對隧道監控構件復雜多樣、數據動態更新需求、建模效率低等問題，設計了一種“互聯網+智慧高速”BIM隧道數智監控系統，以BIM模型機電信息流為中樞，實現各系統間信息協同和隧道機電全生命周期智能監控，但視頻與業務數據仍相互分離。樊小毅等[14]提出了一種基于邊緣計算和視頻異常感知的隧道視頻智能監控系統，根據視頻識別結果進行彈性上傳，減少無效視頻存儲，減小網絡帶寬消耗。劉鵬飛等[15]將高清視頻用于邱家埡口隧道模擬視頻監控系統的改造升級，解決了原有監控系統視頻清晰度低、故障率高、無法實現視頻二次應用等問題，但視頻仍是碎片化呈現。

目前，已有的隧道視頻解決方案在不同程度上提升了隧道數字化運營管理能力，但仍存在一些亟待解決的問題。主要包括： 1)視頻碎片化。隧道監控視頻的相似性強，海量視頻碎片化呈現，日常管理人員對實時視頻的認知壓力大； 2)視頻與業務數據分離。目前視頻監控系統與隧道運營的資產、應急、機電等子系統相互分離，數據之間難以互通，跨系統集成成本高； 3)缺少二三維聯動的響應手段，傳統業務子系統通常以二維方式呈現，缺少可以將業務系統、三維場景、監控視頻快速聯動響應的方法與工具。

三維視頻融合技術將視頻實時注冊融合到三維虛擬場景中，給定視頻間的上下文信息，建立符合人類認知習慣的監控場景，為以上問題的解決帶來新的思路。目前國內外常用的視頻融合方法包括[16-17]： 視頻標簽地圖方法、視頻圖像拼接方法、三維場景中的視頻疊加過渡方法、視頻與三維場景融合方法。視頻標簽地圖方法[18]是將視頻點位與二維地圖相結合，可以實現不同地點視頻的查詢與導覽，但視頻與底圖、視頻與視頻依然是分開展示的，用戶在虛擬場景中缺乏三維方向感。視頻圖像拼接方法[19]采用球面固定式虛擬模型將視頻流進行全景拼接，這一方法的不足之處是視點僅限定在拍攝視點附近。視頻圖像疊加到三維場景方法[20]是將視頻窗口疊加到3D模型視圖窗口的上方，這一方法僅允許用戶在相機視點的轉移路徑上觀看疊加的結果。視頻與三維場景融合方法[17，21]是利用相機捕捉真實對象的視頻圖像，并將視頻圖像以紋理的方式實時注冊到虛擬環境中，這是一種真三維的方法，視頻選擇范圍更加自由。

結合視頻與三維場景融合方法的技術優勢，針對目前隧道運營監控中存在的視頻碎片化、視頻與業務數據分離、缺乏聯動響應手段等問題，提出一種基于三維視頻融合的隧道運營管理應用方法。主要包括： 1)在對隧道運營業務特征分析的基礎上，梳理目前國內隧道運營管理對視頻監控的具體業務需求； 2)利用BIM、點云掃描、模型輕量化等關鍵技術，構建隧道場景的結構模型，形成視頻融合的模型基礎； 3)提出一種隧道視頻三維注冊與虛實融合方法，將離散的多路監控視頻與三維場景模型實時融合，建立視頻與場景、視頻與視頻之間的時空關聯關系； 4)在視頻融合后的三維場景中，實時匯聚隧道內各類物聯傳感數據，以動靜態標簽形式在三維場景中增強顯示，輔助業務管理并實時更新； 5)以國內某隧道為試點，開展基于三維視頻融合場景的隧道運營管理創新應用示范，探索二三維聯動的隧道運營管理新模式。

1 隧道運營業務特征與監控需求分析

國內隧道運營單位日常運營的主要工作目標是“保暢通行”，主要業務包括運營監控、設施維保、土建養護、應急保障等。隧道運營管理中對視頻監控的需求主要體現在4個方面[22]。1)隧道保暢。對隧道全線進行定時巡查，通過監控視頻及時發現響應隧道通暢運行的事件，結合隧道內交通檢測設施分析、預警擁堵事件，結合交通信號控制、廣播、現場處置等措施，保障隧道通暢運行。2)事故救援。對于交警轉接或電話接警的汽車拋錨、交通事故、突發應急事件、設施故障、重大隱患等問題，利用監控相機快速確認警情位置，及時派出拖車進行事故救援與應急處置。3)設施管理。利用監控視頻對隧道內的重要設施設備進行巡查，結合相關物聯傳感器數據與分析，判斷隧道機電設施設備的狀態，及時發現設施故障并進行處置。4)應急響應。對隧道運營過程中發生的應急突發情況、惡劣天氣等方面事件進行及時響應，利用視頻監控與相關物聯設施對應急過程提供保障，支持應急預警、處置、響應、善后與恢復。隧道運營的業務特點和管理需求對基于視頻的運營管理應用提出了明確的應用目標。

2 基于BIM的隧道基礎設施模型快速構建

三維場景模型構建是視頻融合的基礎，隧道場景包括洞身、襯砌、洞門、道路、隱蔽工程、附屬設施、機電設施等多類結構，這些結構通常保持不變或變化較慢，可以采用BIM、點云掃描等技術快速構建隧道場景模型，形成與實際隧道場景基本一致的場景模型基礎。圖1為某隧道BIM參數化建模示例，利用Revit、Civil 3D等BIM工具，對圓形隧道段、矩形隧道段、引道段等隧道段的基本墻模型、道路模型、防撞墻、排水溝、裝飾板進行三維建模，同時針對變電所、通風井、道口值勤亭等設施設備進行建模與渲染，形成具有真實感的整體隧道場景模型。

圖1 隧道BIM建模示例

場景模型的構建應以構建與空間拓撲相關的表觀特征為目標，不用對非顯示結構、局部細節、非必要屬性進行重建。復用已有BIM模型時需要對模型進行必要的輕量化處理。通常運營階段的BIM模型體量較大、精度過高、屬性信息過多。對于視頻融合而言，過高精度的模型細節會影響多路視頻融合與實時繪制的效率，因此需要進行輕量化處理?？赏ㄟ^對數據層次結構的合并、抽取、重組織、減面、修復等操作，實現模型三角面片數量的減少以及文件大小的縮減。

3 隧道監控視頻的三維注冊與虛實融合

三維視頻融合技術的難點是相機三維注冊、投影矩陣計算和可見模型篩選。提出一種隧道監控視頻的三維注冊與虛實融合繪制方法，預先標定隧道場景中多路監控視頻的位置、朝向、焦距、型號等相機參數，使用場景圖對場景數據進行組織，將不同坐標系下相機的位置和朝向信息轉換到統一的三維空間坐標系中。在三維空間中根據相機的位置和朝向等參數信息計算相機的模型-視圖矩陣和投影矩陣。根據模型-視圖矩陣和投影矩陣建立視頻畫面與三維模型的投影關系，使用該投影關系將視頻畫面投影到三維模型上，并在投影時檢測對象的遮擋關系，確保視頻圖像不投影到被遮擋部分，最終實現視頻圖像與三維場景的融合繪制。

隧道監控視頻三維注冊與虛實融合過程如圖2所示，具體實施步驟包括： 1)在監控視頻的三維注冊過程中，根據相機點位、朝向、高度等信息，結合場景拓樸結構和重要標志點，恢復三維相機位姿，將相機在真實環境中的位置和姿態信息轉換為三維空間中的位置和姿態值。2)利用轉換后的位置和姿態計算相機在三維空間中的模型-視圖矩陣和投影矩陣。3)使用模型-視圖矩陣和投影矩陣計算相機在三維空間中的視錐結構，將視錐的遠裁剪面作為遠平面補充場景結構。4)使用模型-視圖矩陣和投影矩陣渲染相機視點下的場景深度信息，再一遍融合。 5)在顯卡中進行片元紋理化和色彩化操作，片元經過光柵化操作后最終轉換為屏幕上所見到的像素。通過以上相機三維注冊、虛實融合、聯合繪制等操作，實現二維視頻與三維模型的實時虛實融合。

圖2 隧道視頻融合過程示意圖

通過三維注冊與投影計算，將實際隧道場景中的多路監控視頻與隧道幾何模型依拓撲實時虛實融合。圖3(a)為槍機融合后的效果，可以看到車道線與三維模型中的車道線較好地融合到一起； 圖3(b)為魚眼相機融合效果，魚眼相機具有更廣的視場角。這一方法在相機間具有較高重疊度。場景中具有明顯標志物和場景空間關系簡單時可以達到較好的融合效果，但在處理相機覆蓋過小、相機間重疊較少或場景無明顯標志物的情況下會出現匹配誤差。

(a) 槍機融合效果

(b) 魚眼相機融合效果

4 基于IoT的隧道業務數據匯聚與場景更新

隧道場景中有溫度、濕度、風速、限高檢測，可變情報板，通風、照明、排水、消防、火災報警器，CO/VI檢測器，廣播系統，限速板，車輛檢測系統，緊急電話，信號燈，光照度儀等多類物聯設備與控制系統； 在視頻融合的三維空間中對設施設備進行數字資產標注與管理，并以消息格式接入物聯傳感器的實時數據，基于業務需求進行報警聯動。物聯傳感數據包括靜態數據和動態數據，靜態數據主要用于資產臺帳、設備屬性等靜態數據，動態數據主要指實時監測的交通、設施狀態、環境等數據。

圖4為隧道資產與標注數據匯聚示例，在多路視頻與BIM模型實時融合后的場景中將相機點位、隱蔽工程、輔助標注等信息在場景中進行實時標注，輔助提升管理人員對場景的認知能力。在視頻融合后的三維場景中可以對隧道內廣播、風機等設施的點位標注、狀態監測與增強顯示，通過外場監測終端的數據接入，將實際隧道場景中的交通檢測、結構形變監測、環境監測、照明、電力、消防、通風、給排水、交通信號、可變情報板、廣播與電話等物聯傳感設備與虛擬場景中的虛擬設備進行關聯注冊，并以一定頻率更新到三維場景中，用戶可以在三維空間直接查看設備屬性與狀態信息，并支持三維場景中異常數據動態標注與應急響應反饋控制。用戶還可以在三維空間自主的定義和制作各類三維標簽，將與業務管理相關的重要信息進行直接關聯，輔助場景認知和業務管理。

圖4 隧道資產與標注數據匯聚示例

5 示范應用與效果分析

新技術的應用必定會帶來相應管理模式的變化，相比傳統的視頻墻式運營監控方法，三維視頻融合場景中增加了空間三維信息，可以以更加直觀的方式進行隧道場景管控，應用創新主要體現在隧道頂視圖全局監控、隧道自動視頻巡邏、二三維聯動應急響應、隧道設施三維集成與聯動監管等方面。以國內某隧道場景為例，結合隧道運營管理中隧道保暢、事故救援、設施管理、應急響應等業務實際需求，開展基于三維視頻融合場景的隧道運營管理方法探索和效果分析。

5.1 示范選擇與實施

選擇國內某隧道開展技術應用示范，示范隧道分東線和西線2座，東線隧道長2.56 km，西線隧道長2.55 km，2座隧道中間分南北有2條聯絡通道。隧道設計車速為40 km/h，隧道橫斷面為雙向4車道，車道寬3.75 m，限高4.2 m，最高通行能力為雙向5 248 輛/h。隧道東西兩線共有48路監控相機，包括槍機、球機2種類型，以100 m左右間隔、4.5～5 m高度安裝，視頻采用DVR進行存儲管理，視頻監控的基礎條件較好。隧道運營單位已經集成廣播系統、可變情報板、限速板、車輛檢測系統、緊急電話、信號燈、光照度儀及現場智能控制終端等各專業子系統，具有較好的場景感知與管控基礎。隧道運營單位前期應用BIM、5G、物聯網等信息新技術致力于打造全生命周期管理示范隧道和新技術應用樣板，具有較好的數據與網絡基礎。綜上可知，所選隧道具有較好的基礎條件和示范代表性。

通過數據采集、場景建模、相機標定、場景融合、系統設計、功能開發等，對示范隧道進行三維視頻融合的虛擬場景構建與運營管理應用，示范過程示意見圖5。

(a) 示范場景BIM建模

(b) 多路視頻實時融合

(c) 物聯傳感數據匯聚融合

(d) 數字孿生場景構建

圖5(a)為示范隧道的BIM建模，可以看到模型在輕量化后，內部結構保持了幾何完整性； 圖5(b)為隧道內監控多路視頻實時融合后的效果示例，通過相機點位、朝向標定與投影計算，使得場景與視頻畫面具有較高的匹配度； 圖5(c)為隧道物聯傳感數據匯聚融合示例，除了在三維場景中進行動靜態標簽的直接標注外，還可以將溫濕度、風速、交通量等實時與歷史數據以圖表形式進行綜合集成顯示； 圖5(d)為集成以上數據與關鍵技術構建得到的數字孿生隧道虛擬場景，可以看到隧道場景與數據關聯顯示更加符合管理人員的視覺認知。

5.2 示范應用效果分析

結合示范隧道建設與運營現狀，開展基于三維視頻融合的隧道運營管理示范應用驗證，研發隧道數字孿生智慧運營系統，開展基于融合場景的隧道保暢、事故救援、設施管理、應急響應等管理應用。

1)隧道保暢全局監控，減輕監控人員認知壓力。研發隧道三維視頻融合智慧運營管理系統，建立二維視頻與三維場景之間的空間關聯關系，提供虛擬頂視圖的隧道全局通行狀態監測(如圖6所示)，用戶可直觀查看隧道運行狀態，并支持三維空間的自主漫游查看分析，減輕了監控人員的認知壓力。

圖6 隧道虛擬頂視圖顯示

2)全線智慧視頻巡邏，降低人工巡邏成本。利用構建得到的隧道三維視頻融合場景和系統，用戶可以在場景中自定義巡邏線路、巡邏點、巡邏頻次、巡邏時間，系統按照設定的智慧巡邏線路，開展符合行車認知的全線自動視頻巡邏(如圖7所示)，減少了人工現場巡邏、手柄球機查看的次數，降低了人工巡邏的成本。

圖7 隧道全線智慧巡邏

3)歷史視頻全景統一回溯，提高事件溯源效率。利用構建得到的隧道三維視頻融合場景和系統，將場景中所有監控視頻進行統一時鐘控制，可以按用戶需求將時鐘統一回調到過去某一時刻，用于對某一異常事件的發生、發展與處置全過程進行追溯或取證(如圖8所示)，提高了異常事件溯源、追蹤的工作效率。

圖8 歷史視頻三維統一回溯取證

4)隧道物聯設施匯聚融合，實現三維數字資產管理。利用構建得到的隧道三維視頻融合與增強顯示(如圖9所示)，支持多源物聯傳感設施、狀態與數據的實時接入，實現隧道土建結構、機電設施、專用設備的三維數字資產管理。

圖9 物聯設施三維融合與增強顯示

5)隧道警情二三維聯動響應，提高事故救援與應急處置能力。隧道三維視頻融合系統包括二維地圖和三維場景，用戶可在接到警情、發現異常時在二三維之間快速跳轉、漫游、確認警情、查看異常(如圖10所示)，提高運營單位警情確認、異常定位、事故救援和應急處置的能力。

此外，隧道三維視頻融合智慧運營管理系統還支持多級管控、空間追視、相機接力、放大鏡等操作，變革了二維矩陣式監控方案，在三維空間中進行管理業務的實現。

圖10 二三維雙向聯動響應操作

5.3 問題分析

通過示范隧道的試點應用，發現仍存在不足，主要包括： 模擬相機分辨率不足、已有相機未能實現隧道場景全覆蓋、物聯數據的接入依賴于其他子系統等。針對以上問題，給出示范隧道場景智慧化管理進一步優化的建議。

1)提高外場監控相機分辨率。視頻融合技術解決不了外場監控分辨率不足的問題，建議有條件情況下提升外場監控終端的相機分辨率，利用高清數字相機取代目前在役的模擬相機，改善外場監控相機的基礎條件。

2)提高外場相機覆蓋率。目前示范隧道在役相機覆蓋區域有限，未能實現隧道場景的全覆蓋，建議在后期的外場終端升級改造時增加外場相機覆蓋率。①減少相機部署間距，以50 m或70 m的間隔進行場景的相機部署； ②采用槍機、球機、魚眼等多類相機組合部署方式，增加場景監測的覆蓋率與靈活性，如： 在彎道區域采用魚眼或廣角相機進行采集、在重點監控區域加裝球機用于空間追視球機聯動等。

3)形成動態物聯傳感數據接入標準。以消息模式進行數據傳遞、以控件方式進行系統間關聯的方式符合目前隧道信息化管理的實際，針對交通檢測、環境檢測、結構檢測等多種類型的物聯傳感數據，需要結合業務管理實際形成數據接入、分析與應用的規范模式與數據標準。

4)增強隧道前端相機的邊緣計算能力。在隧道監控視頻的前端增加智能化識別功能，支持隧道場景中人員、車輛、災害等事件的快速識別能力，并可在三維場景直接接入識別結果，避免海量IoT數據接入引起的實時性、安全性和網絡堵塞問題。

5)深化三維實景視頻融合的隧道智慧管理模式創新。在試點應用經驗總結的基礎上，持續深化業務管理與虛實融合技術的融合，推動隧道應急指揮全景化、隧道分艙分級管理等基于三維視頻融合技術與數字孿生系統的管理模式創新。

6 結論與展望

構建隧道三維視頻融合場景，應用于隧道保暢、事故救援、設施管理、應急響應等各個方面，為隧道運營中復雜交通問題的分析和解決提供新的思路與手段?；谌S視頻融合的隧道數字孿生構建與虛實融合運營應用方法展開了研究。

1)在分析隧道保暢、事故救援、設施管理、應急響應等運營業務需求與特征的基礎上，利用BIM技術對洞身、襯砌、洞門、道路、隱蔽工程、附屬設施、機電設施等對象進行參數化建模，形成與實際隧道場景三維模型。

2)通過三維注冊與投影計算，將隧道場景中的多路監控視頻與隧道幾何模型依拓撲進行實時虛實融合，形成三維實景融合的隧道虛擬場景。

3)匯聚融合多源物聯傳感數據，將實際隧道場景中的交通檢測、結構形變監測、環境監測、照明、電力、消防、通風、給排水、交通信號、可變情報板、廣播與電話等設施設備與虛擬場景的虛擬設備進行關聯注冊、數據接入、動態標注與實時更新。

4)以國內某隧道為例，開展基于視頻融合場景的虛擬頂視圖全局監控、隧道自動視頻巡邏、二三維聯動應急響應、隧道設施三維集成與聯動監管等隧道運營管理應用。

應用結果表明： 通過隧道三維視頻融合場景的構建與應用，解決了隧道運營監控視頻碎片化問題，推動了視頻與業務數據分離問題的解決，為應急事件的二三維聯動響應提供了工具支持，提升了隧道保暢、事故救援、設施管理、應急響應等業務管理的效率，支持對隧道基礎設施與交通運行的精準感知與精細管理。

下一步將開展多源物聯數據驅動的三維場景迭代、數據驅動隧道交通運行仿真與預測推演、適用于視頻融合數字孿生應用的“云邊端”架構與功能設計、虛實融合的隧道數字孿生感知與應用場景分析等工作。