基于人工智能的景區(qū)游客行為視頻分析指標(biāo)體系和算法模型研究

劉 艷

[內(nèi)容提要]本文利用基于人工智能的游客行為視頻分析技術(shù)，解決視頻數(shù)據(jù)瞬時(shí)分析、處理和應(yīng)用問題。以視頻分析標(biāo)簽體系為核心，研究游客密度、人流動(dòng)態(tài)、游客流量、承載壓力等多場(chǎng)景化分類標(biāo)簽體系和景區(qū)重點(diǎn)區(qū)域游客密度算法模型，實(shí)現(xiàn)海量視頻數(shù)據(jù)高效檢索、精確定位，提升景區(qū)智慧化運(yùn)營(yíng)水平。

引 言

長(zhǎng)期以來(lái)視頻監(jiān)控技術(shù)在景區(qū)安全管理、緊急救援、資源保護(hù)、服務(wù)效能提升等方面發(fā)揮了重要作用。隨著視頻監(jiān)控規(guī)模逐漸擴(kuò)大，僅依靠人工方式進(jìn)行景區(qū)基礎(chǔ)畫面的巡查調(diào)度暴露出來(lái)的局限性越發(fā)突出，如視頻資源存儲(chǔ)成本高、數(shù)據(jù)化整合和深度挖掘分析不夠、算力支撐不足，同時(shí)還面臨著海量視頻數(shù)據(jù)檢索困難、數(shù)據(jù)孤島林立、數(shù)據(jù)開放和應(yīng)用水平低的問題 。因此，利用人工智能相關(guān)技術(shù)實(shí)現(xiàn)視頻監(jiān)控?cái)?shù)據(jù)的智能化分析越來(lái)越迫切。本文主要解決兩個(gè)問題：一是利用基于人工智能的游客行為視頻分析技術(shù)，解決視頻數(shù)據(jù)瞬時(shí)分析、處理和應(yīng)用問題，提升景區(qū)安全監(jiān)控與應(yīng)急指揮聯(lián)動(dòng)能力，創(chuàng)新安全監(jiān)管和應(yīng)急指揮模式。二是以視頻分析標(biāo)簽體系為核心，研究游客密度、人流動(dòng)態(tài)、游客流量、承載壓力等多場(chǎng)景化分類標(biāo)簽體系和景區(qū)重點(diǎn)區(qū)域游客密度算法模型，實(shí)現(xiàn)海量視頻數(shù)據(jù)高效檢索、精確定位，提升景區(qū)智慧化運(yùn)營(yíng)水平。

一 研究設(shè)計(jì)

（一）分析框架

本研究在技術(shù)架構(gòu)層面充分考慮多協(xié)議視頻源接入、視頻數(shù)據(jù)體量大、分布式部署、多應(yīng)用場(chǎng)景下視覺識(shí)別及分析等問題，采用分布式微服務(wù)架構(gòu)，以模塊化設(shè)計(jì)思想為導(dǎo)向，每個(gè)模塊專注于特定的業(yè)務(wù)處理和分析，使每個(gè)程序獨(dú)立進(jìn)行，耦合性低，且各模塊既高度自治又相互配合，讓平臺(tái)具有更高的可擴(kuò)展性和延展性。通過SDK、RTSP、GB28181等協(xié)議接入監(jiān)控視頻，利用人工智能的視頻分析技術(shù)對(duì)監(jiān)控視頻進(jìn)行精準(zhǔn)分析。考慮到視頻數(shù)據(jù)量大且數(shù)據(jù)增速快，通過分布式大數(shù)據(jù)流處理技術(shù)對(duì)采集到的視頻數(shù)據(jù)進(jìn)行不同業(yè)務(wù)的實(shí)時(shí)處理，實(shí)現(xiàn)在海量數(shù)據(jù)下實(shí)時(shí)采集、實(shí)時(shí)分析、復(fù)雜計(jì)算和精準(zhǔn)輸出的要求。匹配突發(fā)事件在不同情景和階段下的不同特征，自動(dòng)“搬運(yùn)”數(shù)據(jù)，實(shí)現(xiàn)決策的同步迭代 。

（二）研究過程

通過視頻數(shù)據(jù)采集系統(tǒng)采集景區(qū)出入口、核心景觀區(qū)、人流聚集區(qū)、狹窄通道等重點(diǎn)區(qū)域相關(guān)視頻數(shù)據(jù)。充分利用大數(shù)據(jù)、人工智能等新技術(shù)，探索更多公共安全視頻共享應(yīng)用機(jī)制 。對(duì)系統(tǒng)采集到的視頻數(shù)據(jù)進(jìn)行清理和數(shù)據(jù)規(guī)約處理，使雜亂、無(wú)規(guī)律的數(shù)據(jù)結(jié)構(gòu)化。根據(jù)業(yè)務(wù)需要對(duì)結(jié)果數(shù)據(jù)進(jìn)行多維度分析，對(duì)分析后的數(shù)據(jù)進(jìn)行標(biāo)簽匹配。之后，按照不同算法模型判斷景區(qū)重點(diǎn)區(qū)域及整體的客流情況，實(shí)現(xiàn)管理者對(duì)景區(qū)的精準(zhǔn)監(jiān)管和應(yīng)急事件的事前預(yù)警與事中告警。

（三）數(shù)據(jù)來(lái)源

本研究所需要的數(shù)據(jù)主要來(lái)自文化和旅游部綜合監(jiān)測(cè)與應(yīng)急指揮平臺(tái)上已經(jīng)接入的全國(guó)306家5A景區(qū)和部分4A景區(qū)視頻數(shù)據(jù)。接入內(nèi)容以景區(qū)出入口、售票處、檢票口、核心游覽點(diǎn)、觀景臺(tái)、交通接駁點(diǎn)、停車場(chǎng)、景區(qū)內(nèi)重點(diǎn)道路、公共服務(wù)區(qū)（餐廳、購(gòu)物區(qū)）等游客流量密集區(qū)域的視頻監(jiān)控畫面為主。視頻接入路數(shù)，每個(gè)景區(qū)15～20路。視頻監(jiān)控品牌包括海康、大華、宇視、天地偉業(yè)、英飛拓、電信全球眼等20余家。新冠肺炎疫情暴發(fā)以來(lái)，部分景區(qū)為降低成本，出現(xiàn)關(guān)閉攝像頭、減少運(yùn)維人員的情況，導(dǎo)致已接入的景區(qū)視頻出現(xiàn)黑屏或者信號(hào)卡頓等情況。目前在線的視頻監(jiān)控2萬(wàn)余路。

二 視頻監(jiān)控?cái)?shù)據(jù)指標(biāo)體系

項(xiàng)目組圍繞課題研究方向開展了基于人工智能的游客行為視頻分析標(biāo)簽體系研究工作。通過景區(qū)調(diào)研和試點(diǎn)驗(yàn)證，將視頻監(jiān)控標(biāo)簽劃分為屬性標(biāo)簽和監(jiān)控標(biāo)簽兩大類。本文重點(diǎn)研究基于人流密度標(biāo)簽的算法模型（見表1）。

表1 視頻監(jiān)控?cái)?shù)據(jù)指標(biāo)體系

三 景區(qū)重點(diǎn)區(qū)域游客密度算法模型

目前大多數(shù)景區(qū)對(duì)核心區(qū)內(nèi)游客密度的監(jiān)控方式主要以單個(gè)監(jiān)控?cái)z像頭識(shí)別的數(shù)據(jù)進(jìn)行區(qū)域的人數(shù)統(tǒng)計(jì)。由于單路監(jiān)控存在可視范圍盲區(qū)和死角，影響分析結(jié)果的準(zhǔn)確性，現(xiàn)代通信技術(shù)手段雖然早已進(jìn)場(chǎng)，但是僅僅用在某些信息處理的“點(diǎn)”或“線”上，而沒有用在整個(gè)信息系統(tǒng)中各功能單位間的信息流轉(zhuǎn)過程中 。亟須設(shè)計(jì)一套基于多攝像頭互補(bǔ)的算法模型用于區(qū)域游客密度分析。

景區(qū)重點(diǎn)區(qū)域游客密度算法模型旨在實(shí)時(shí)監(jiān)測(cè)并分析研判景區(qū)內(nèi)主要游覽區(qū)域的游客密度狀態(tài)。依據(jù)景區(qū)內(nèi)核心景點(diǎn)及游客聚集區(qū)域的監(jiān)控視頻流，識(shí)別該區(qū)域內(nèi)游客人數(shù)，結(jié)合區(qū)域有效可游覽面積、區(qū)域游客最大承載量及預(yù)警范圍，實(shí)時(shí)研判區(qū)域內(nèi)的游客密度狀態(tài)，掌握游客分布情況，并對(duì)游客大量聚集等異常情況進(jìn)行分級(jí)預(yù)警。該模型分析范圍是景區(qū)重要游客匯聚區(qū)域，例如：核心游覽點(diǎn)、觀景臺(tái)、購(gòu)物區(qū)、游客服務(wù)中心等；分析對(duì)象是景區(qū)視頻監(jiān)控錄制及切片處理提供的監(jiān)控視頻采樣畫面；分析頻率是景區(qū)每日開園期間內(nèi)每5分鐘一次（或根據(jù)業(yè)務(wù)需要指定分析頻率）。主要包括五個(gè)分析步驟。

（一）計(jì)算并標(biāo)識(shí)多視角畫面的重疊區(qū)域

利用CNN等深度學(xué)習(xí)方法提取畫面特征，通過相似性度量等方法進(jìn)行特征點(diǎn)的匹配（含空間相關(guān)性）。通過“回歸網(wǎng)絡(luò)圖像配準(zhǔn)”計(jì)算單應(yīng)性矩陣，獲取各視角畫面重疊區(qū)域的像素空間映射關(guān)系和邊緣交點(diǎn)（見圖1、圖2）。

圖1 計(jì)算多視角畫面重疊區(qū)域步驟

圖2 多視角重疊區(qū)域示例

（二）生成圖像密度圖進(jìn)行人數(shù)統(tǒng)計(jì)

在分析區(qū)域內(nèi)，多尺度提取非重疊區(qū)域和重疊區(qū)域的畫面人物頭部特征，通過反卷積生成高分辨率密度圖，對(duì)密度圖進(jìn)行求和得到具體的人數(shù)。

（三）計(jì)算游客密度

生成區(qū)域密度圖可以直觀反映區(qū)域內(nèi)的游客密度狀態(tài)。計(jì)算規(guī)則為監(jiān)控區(qū)域內(nèi)游客數(shù)量與該區(qū)域游客最大承載量的比值。

1.依據(jù)《LB/T-034-2014景區(qū)最大承載量核定導(dǎo)則》計(jì)算區(qū)域游客最大承載量C1（監(jiān)控區(qū)域內(nèi)能夠容納的最大游客數(shù)量）。

式中：Xi表示i區(qū)域的有效可游覽面積（m2）；Yi表示i區(qū)域的游客單位游覽面積（m2/人）。

2.計(jì)算區(qū)域游客密度比值R。反映監(jiān)控區(qū)域游客人數(shù)占該區(qū)域最大承載量的比值，比值越大，密度越高。

式中：n表示AI識(shí)別出的該區(qū)域人數(shù)（人）；C1表示該區(qū)域內(nèi)游客最大承載量（人）。

3.計(jì)算區(qū)域游客密度指數(shù)TDI。將區(qū)域游客密度比值進(jìn)行歸一化（級(jí)差變換處理），得到區(qū)域游客密度。

式中：R 不超過 Rmax，即當(dāng) R>Rmax時(shí)，R=Rmax，指數(shù)保留小數(shù)點(diǎn)后1位，四舍五入。

（四）確定指數(shù)取值范圍和級(jí)別

通過設(shè)定0～10之間的不同指數(shù)級(jí)別，直觀分辨景區(qū)監(jiān)控區(qū)域內(nèi)游客密度的情況（見表2） 。

表2 游客密度指數(shù)范圍和級(jí)別

（五）景區(qū)驗(yàn)證

選取甘肅張掖七彩丹霞景區(qū)游客大廳視頻監(jiān)控?cái)?shù)據(jù)按照上述分析思路進(jìn)行分析，計(jì)算出游客密度指數(shù)為0.2，標(biāo)記狀態(tài)為稀疏（見圖3）。

圖3 甘肅張掖七彩丹霞景區(qū)游客大廳監(jiān)控畫面

四 建議

（一）人工智能賦能基礎(chǔ)建設(shè)，實(shí)現(xiàn)景區(qū)監(jiān)控智能化

客流量統(tǒng)計(jì)不僅有效管控景區(qū)的擁擠問題，而且提高了景區(qū)的旅游舒適度，同時(shí)也為景區(qū)的經(jīng)營(yíng)決策提供了數(shù)據(jù)支持，已經(jīng)成為景區(qū)管理中不可或缺的一部分 。行人檢測(cè)和行為分析是智能視頻監(jiān)測(cè)中的一個(gè)重要的研究熱點(diǎn)和領(lǐng)域。景區(qū)前期的視頻監(jiān)控系統(tǒng)建設(shè)中，大部分?jǐn)z像機(jī)是標(biāo)清攝像機(jī)，少數(shù)是模擬攝像機(jī)，清晰度低，線路部署不方便。視頻數(shù)據(jù)存儲(chǔ)時(shí)間短，無(wú)法有效管理視頻錄像。視頻監(jiān)控設(shè)備品牌眾多，協(xié)議多樣，較難實(shí)現(xiàn)對(duì)設(shè)備運(yùn)行狀態(tài)的集中管理。本研究能夠有效解決傳統(tǒng)監(jiān)控設(shè)備集成AI算法升級(jí)更新難度大、跨廠商兼容性差、更換AI監(jiān)控設(shè)備成本大等問題，充分利用景區(qū)已建成的視頻監(jiān)控系統(tǒng)，通過云端的人工智能視覺分析技術(shù)，實(shí)現(xiàn)景區(qū)監(jiān)控視頻智能分析，實(shí)現(xiàn)對(duì)景區(qū)客流、安全事件、環(huán)境等維度的數(shù)據(jù)分析及監(jiān)控。

（二）探索基于標(biāo)簽化的景區(qū)智能監(jiān)控管理模式創(chuàng)新

海量的視頻數(shù)據(jù)里蘊(yùn)藏著消費(fèi)者的需求、痛點(diǎn)、偏好、習(xí)慣。它們像石油一樣等待被開采，它們是提高生產(chǎn)效率的新能源 。景區(qū)視頻標(biāo)簽體系用于對(duì)海量景區(qū)視頻監(jiān)控進(jìn)行快速檢索、精準(zhǔn)定位和靈活處理，具有很強(qiáng)的專業(yè)性，必須通過深度學(xué)習(xí)，結(jié)合場(chǎng)景、人物、文字等多維度綜合分析才可以提煉出來(lái)。傳統(tǒng)的視頻標(biāo)簽主要用于視頻的精準(zhǔn)投放和分發(fā)。本研究建立的景區(qū)視頻監(jiān)控智能分析標(biāo)簽體系可快速檢索并定位出符合條件的景區(qū)，通過對(duì)視頻監(jiān)控中的實(shí)時(shí)數(shù)據(jù)進(jìn)行捕捉和處理，分析視頻中圖像、文字、語(yǔ)音、人臉、物體、行為等多模態(tài)信息，將景區(qū)內(nèi)部實(shí)時(shí)產(chǎn)生的人流密度、人流動(dòng)態(tài)、游客流量、接待壓力、公共安全事件、突發(fā)自然災(zāi)害等過程化信息快速呈現(xiàn)，便于有針對(duì)性地展開應(yīng)急巡查調(diào)度及分析預(yù)測(cè)，充分發(fā)揮視頻內(nèi)容的量化分析價(jià)值，強(qiáng)化瞬時(shí)響應(yīng)速度。

（三）打造多場(chǎng)景數(shù)據(jù)應(yīng)用，助力監(jiān)管智能化升級(jí)

通過對(duì)視頻數(shù)據(jù)記錄下的游客行為分析研究，實(shí)現(xiàn)無(wú)感知景區(qū)游客行為數(shù)據(jù)獲取。將數(shù)據(jù)與業(yè)務(wù)建立對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)多種事前事件預(yù)警、事中事件告警以及事后事件溯源分析的應(yīng)用場(chǎng)景，大幅提升特定目標(biāo)和場(chǎng)景的搜索效率。快速找到目標(biāo)景區(qū)、目標(biāo)人群、目標(biāo)區(qū)域，降低應(yīng)急管理的人力成本，助力監(jiān)管智能化升級(jí)。此外，應(yīng)急事件的事先預(yù)警和事中告警對(duì)網(wǎng)絡(luò)的實(shí)時(shí)響應(yīng)和及時(shí)反饋要求極高。如何利用5G網(wǎng)絡(luò)的邊緣計(jì)算技術(shù)形成視頻快速傳輸和本地計(jì)算處理能力，使得視頻分析數(shù)據(jù)更貼近用戶，僅傳輸依托標(biāo)簽體系精準(zhǔn)定位的視頻資源及分析結(jié)果，降低大規(guī)模視頻接入所需要的帶寬資源和算力資源是亟待解決的問題。機(jī)器有沒有悟性的邊界其實(shí)就是人的理解能力的極限 。

五 結(jié)語(yǔ)

智能分析、云計(jì)算、云存儲(chǔ)和大數(shù)據(jù)挖掘等眾多創(chuàng)新技術(shù)對(duì)公共安全領(lǐng)域的技術(shù)革新產(chǎn)生了深遠(yuǎn)的影響 。在景區(qū)“限量、預(yù)約、錯(cuò)峰”的常態(tài)化背景下，游客動(dòng)態(tài)監(jiān)測(cè)是景區(qū)安防監(jiān)控領(lǐng)域的研究重點(diǎn)，也是落實(shí)動(dòng)態(tài)預(yù)約的關(guān)鍵。行人通常是監(jiān)控?cái)z像頭中主要的關(guān)注目標(biāo)，對(duì)行人目標(biāo)的檢測(cè)是其他計(jì)算機(jī)視覺處理（比如異常行為分析，動(dòng)作識(shí)別等）工作的基礎(chǔ)，其準(zhǔn)確度對(duì)整個(gè)系統(tǒng)都有至關(guān)重要的影響。但是對(duì)于行人目標(biāo)的準(zhǔn)確識(shí)別較為困難，若要實(shí)現(xiàn)較高的準(zhǔn)確度，會(huì)犧牲系統(tǒng)的速度。算法、數(shù)據(jù)和計(jì)算三大基礎(chǔ)要素共同驅(qū)動(dòng)人工智能發(fā)展 。本研究提出的分析算法，能有效兼顧準(zhǔn)確性和分析速度，不僅能動(dòng)態(tài)計(jì)算核心區(qū)的游客數(shù)量，還可以對(duì)實(shí)時(shí)視頻中的對(duì)象進(jìn)行搜索和檢測(cè)，從圖像序列中找到游客所在，并且對(duì)其行為進(jìn)行簡(jiǎn)單的分類。更確切地說(shuō)就是確定圖像區(qū)域中的行人和行為類型，為后續(xù)開展游客不文明行為和危險(xiǎn)行為的監(jiān)測(cè)和預(yù)警提供技術(shù)支撐。