基于視頻事件的大型艦船艦面保障作業(yè)檢測①

郭雪昆,李小燕,秦遠輝,王宏安

1(中國船舶工業(yè)系統(tǒng)工程研究院,北京 100094)

2(海豐通航科技有限公司,北京 100070)

3(中國科學院軟件研究所,北京 100190)

大型艦船艦面保障作業(yè)指大型艦船攜帶的飛機從降落至艦面到起飛離艦的整個過程涉及的所有作業(yè),包括飛機降落、卸載物資、檢查、維修、充電、補充燃料與滑油、加注特種氣體、換胎、加載物資、調(diào)運、起飛等數(shù)十個保障作業(yè)[1].基于艦面監(jiān)控視頻檢測艦面保障作業(yè)利于分析并提高保障作業(yè)效率,對大型艦船作戰(zhàn)效能的發(fā)揮至關(guān)重要.然而,一架飛機的保障作業(yè)具有復(fù)雜的串并行關(guān)系,不同類型飛機的保障作業(yè)串并行關(guān)系不同.單個保障作業(yè)由數(shù)位操作員使用多種器械協(xié)作完成.大型艦船攜帶的機群的一次出動,往往需要數(shù)十架不同類型的飛機并行地進行艦面保障作業(yè),涉及數(shù)以百計的操作員、器械與設(shè)施設(shè)備統(tǒng)籌協(xié)作.這導致同一艦面監(jiān)控視頻場景內(nèi)同時發(fā)生多個保障作業(yè),不同保障作業(yè)的參與者(操作員、器械或設(shè)施設(shè)備等)位置交叉;如圖1所示,同一視頻場景內(nèi)同時發(fā)生調(diào)運車調(diào)運(圖1(a)左下角3個參與者)與調(diào)運員調(diào)運飛機(圖1(a)右上角3個參與者)兩個保障作業(yè),在視頻的中間時刻兩組保障作業(yè)參與者相遇(圖1(b)),從整個保障作業(yè)過程來看,兩組保障作業(yè)參與者位置交叉(圖1(c)).

圖1 同一視頻場景內(nèi)同時發(fā)生的參與者位置交叉的保障作業(yè)示意圖

隨著監(jiān)控設(shè)備的普及與發(fā)展,監(jiān)控視頻中事件檢測受到越來越多的關(guān)注.現(xiàn)有的監(jiān)控視頻事件檢測技術(shù)主要針對3類問題:第1類是個體姿態(tài)事件的檢測問題[2,3],例如,走路、跑步、指人、打電話、放東西等.這類事件有區(qū)別于其他事件的標志性姿態(tài),通過檢測視頻內(nèi)標志性姿態(tài)實現(xiàn)事件檢測;第2類是個體運動事件的檢測問題[4],例如,徘徊、逆行等,通過檢測目標個體的運動軌跡實現(xiàn)事件檢測;第3類是群體運動事件的檢測問題[5],比如,人群聚集、人群分離等,通過分析群體運動軌跡實現(xiàn)事件檢測.而艦面保障作業(yè)持續(xù)時間長(數(shù)分鐘至十幾分鐘不等)、參與者多(單個保障作業(yè)由數(shù)個操作員使用多種器械協(xié)作完成)、參與者動作多樣(操作員需做多個動作完成一個保障作業(yè))、不同保障作業(yè)參與者的位置交叉重疊;單個關(guān)鍵幀、單個特征或個體的單個動作、軌跡無法刻畫整個保障作業(yè).現(xiàn)有的監(jiān)控視頻事件檢測技術(shù)不太適合大型艦船艦面保障作業(yè)檢測.

相對傳統(tǒng)的監(jiān)控視頻中事件檢測技術(shù),近年興起的復(fù)雜事件檢測技術(shù)關(guān)注持續(xù)時間較長(從數(shù)分鐘至數(shù)小時不等)、類內(nèi)變化較大(涉及多個參與者的多個動作)、包含信息豐富復(fù)雜的事件[6].然而,現(xiàn)有的復(fù)雜事件檢測技術(shù)[7-9]從樣本視頻的關(guān)鍵幀內(nèi)提取特征訓練模型,更適合場景內(nèi)只發(fā)生一個復(fù)雜事件的情況.但在大型艦船艦面上,同一視頻場景中同時發(fā)生多個保障作業(yè),而且各保障作業(yè)的參與者位置交叉.現(xiàn)有的復(fù)雜事件技術(shù)難以滿足大型艦船艦面保障作業(yè)檢測的需求.

本文提出了一種基于視頻事件的大型艦船艦面保障作業(yè)檢測技術(shù),可檢測同一視頻場景中并發(fā)的參與者位置交叉的艦面保障作業(yè).我們將艦面保障作業(yè)視為一系列小粒度事件按一定約束組合成的復(fù)雜事件;先采用基于軌跡層次聚類的保障作業(yè)結(jié)構(gòu)提取算法,確定場景內(nèi)保障作業(yè)的組合層次結(jié)構(gòu);再采用基于作業(yè)模型的保障作業(yè)識別算法,逐層識別保障作業(yè)類型,實現(xiàn)并發(fā)的參與者位置交叉的保障作業(yè)的檢測.

本文方法有兩個創(chuàng)新點:1)基于軌跡層次聚類的保障作業(yè)結(jié)構(gòu)提取算法.該算法對場景內(nèi)目標物軌跡自頂向下層次聚類,使參與同一保障作業(yè)的目標物軌跡于同一聚類內(nèi),從而獲得場景內(nèi)保障作業(yè)的組合層次關(guān)系與各保障作業(yè)的參與者;2)基于作業(yè)模型的保障作業(yè)識別算法.我們將保障作業(yè)視為一系列小粒度事件按一定約束構(gòu)成的復(fù)雜事件;先采用視頻事件描述語言(video event description language)定義保障作業(yè)模型,再依據(jù)保障作業(yè)模型,針對保障作業(yè)的組合層次結(jié)構(gòu),自底向上逐層識別保障作業(yè).

1 本文方法概述

本文方法共分為兩個階段,視頻數(shù)據(jù)預(yù)處理與保障作業(yè)檢測(如圖2).本文的重點是保障作業(yè)檢測.在視頻數(shù)據(jù)預(yù)處理階段,跟蹤獲得場景內(nèi)目標物(操作員、器械、設(shè)施設(shè)備)運動軌跡并對軌跡進行修剪,得到清晰、連貫的軌跡.在保障作業(yè)檢測階段,假設(shè)已獲取場景內(nèi)目標物的運動軌跡.先采用基于軌跡層次聚類的保障作業(yè)結(jié)構(gòu)提取算法,對場景內(nèi)目標物軌跡自頂向下層次聚類,使參與同一保障作業(yè)的目標物軌跡于同一聚類內(nèi),從而得到場景內(nèi)保障作業(yè)的層次組合關(guān)系及各保障作業(yè)的參與者(第2.1節(jié));再采用基于作業(yè)模型的保障作業(yè)識別算法,針對保障作業(yè)的層次組合結(jié)構(gòu),依據(jù)保障作業(yè)模型,自底向上識別各保障作業(yè)(第2.2節(jié)).

圖2 本文方法流程圖

視頻數(shù)據(jù)預(yù)處理.在預(yù)處理階段,首先采用現(xiàn)有方法[10]跟蹤艦面監(jiān)控視頻,再對跟蹤得到的軌跡做修剪,包括連接間斷軌跡、除掉過短軌跡及修剪噪聲軌跡,最終得到清晰、連貫的目標物運動軌跡.軌跡修剪方法如下:

第2步.角度突變的軌跡頂點視為噪音,進行平滑操作.令軌跡頂點pi的角度其中pi?1與pi+1為與pi相鄰的兩點.若Ai<θ(θ =30?),視為角度突變頂點.對角度突變頂點pi,令pi=(pi+pi?1+pi+1)/3,如此迭代,直至pi不再為角度突變頂點.

第3步.連接間斷軌跡.若兩軌跡目標物類型相同、距離相近且于彼此延長線上,視為間斷軌跡,聯(lián)接成一條軌跡.令軌跡T的正向延長線Tend為過T最后的M(M=4)個軌跡點的插值曲線,其反向延長線Tstart為過T最開始的M個軌跡點的插值曲線.若兩軌跡的正向延長線與反向延長線相交且延長線長度之和Lext<ω (ω =10),則視為間斷軌跡,將兩軌跡聯(lián)接.

2 保障作業(yè)檢測

2.1 基于軌跡層次聚類的保障作業(yè)結(jié)構(gòu)提取

我們將保障作業(yè)視為由一系列小粒度事件按一定約束組合成的復(fù)雜事件.提取保障作業(yè)結(jié)構(gòu)就是提取場景內(nèi)保障作業(yè)的層次組合關(guān)系,并確定各保障作業(yè)的參與者.目標物運動軌跡反映出保障作業(yè)參與者位置的變化,是判斷其參與的保障作業(yè)的重要線索.基于此,我們將保障作業(yè)層次組合結(jié)構(gòu)提取形式化成目標物軌跡層次聚類問題.為了解決該問題,我們先將場景中目標物軌跡組織到軌跡圖中,再通過軌跡圖的層次分割得到軌跡層次聚類(如圖3).一個軌跡聚類表示一個保障作業(yè).聚類包含的軌跡為該保障作業(yè)的參與者.軌跡聚類的層次結(jié)構(gòu)為保障作業(yè)的層次組合結(jié)構(gòu).

目標物軌跡圖.目標物軌跡圖的一個頂點表示一條軌跡,邊表示軌跡間相鄰關(guān)系,邊權(quán)重表示目標物軌跡參與同一保障作業(yè)的概率.我們依據(jù)3個原則計算邊權(quán)重:1)軌跡夾角.若兩目標物在整個作業(yè)過程中保持運動方向基本一致,它們極可能參與同一保障作業(yè);2)軌跡間距.若兩目標物作業(yè)過程中始終保持在很小距離內(nèi),它們極可能參與同一保障作業(yè);3)軌跡共現(xiàn).參與同一保障作業(yè)的目標物必然同時出現(xiàn)于同一場景.軌跡圖邊權(quán)重W=aEangle+bEhdist+Ecooc.其中,a=1.0、b=2.0為權(quán)重.Eangle衡量軌跡夾角的一致性,Eangle=1+cosθ,θ為兩目標物位移夾角.Ehdist衡量軌跡間距大小,Ehdist=1?h/max(H),h為兩軌跡的豪斯道夫距離,H為場景內(nèi)任意兩軌跡間豪斯道夫距離的集合.Ecooc為軌跡共現(xiàn)項,為兩軌跡共現(xiàn)于場景的時長,ti與tj分別為兩軌跡的時長.

軌跡圖層次分割.給定軌跡圖,我們迭代地對其進行二分割,直至各子圖只包含一個頂點.如此,得到軌跡的層次聚類結(jié)構(gòu)(如圖3).對軌跡圖的每一次二分割,都通過求解如下目標函數(shù)[11]實現(xiàn):

其中,A、B為分割得到的子圖,V=A∪B.cut(A,B)為連接A、B兩子圖的所有邊的權(quán)重之和,tcon(A,V)為連接A、V兩圖的邊數(shù).

圖3 軌跡層次聚類示意圖

2.2 基于作業(yè)模型的保障作業(yè)識別

給定場景內(nèi)保障作業(yè)的層次組合結(jié)構(gòu),需要識別各保障作業(yè)的類型.為此,定義保障作業(yè)模型(第2.2.1節(jié));再依據(jù)作業(yè)模型,針對保障作業(yè)層次組合結(jié)構(gòu),自底向上逐層識別各保障作業(yè)(第2.2.2節(jié)).

2.2.1 保障作業(yè)模型

采用視頻事件描述語言定義保障作業(yè)模型,將其描述成由一系列小粒度事件按一定約束組合成的復(fù)雜事件.保障作業(yè)模型 E=(O,S,F,C)[12].O是一組實體,E的參與者的集合,包括操作員(機務(wù)員、調(diào)運員、物資轉(zhuǎn)運員等)、車輛(物資裝載車、調(diào)運車、叉車等)等.S是構(gòu)成 E的子事件的集合.子事件是比 E粒度更小更簡單的事件.F是禁止事件集合,不可與E同時發(fā)生.C是S內(nèi)子事件間約束的集合[13].如此逐層向下定義,保障作業(yè)逐步分解為一系列粒度更小更簡單的事件.

事件按復(fù)雜度分為狀態(tài)與事件兩類[12].狀態(tài)指在某一時刻或某一段時間內(nèi)保持穩(wěn)定不變的情況.最小粒度的狀態(tài)稱為基本狀態(tài).基本狀態(tài)不可再分.圖4(a)為基本狀態(tài)的一個例子.該基本狀態(tài)的參與者只有飛機一個實體.飛機的移動速度有兩條約束:大于0,小于閾值由若干基本狀態(tài)組合成的狀態(tài)為組合狀態(tài),比如,調(diào)運車調(diào)運飛機(圖4(b)).該組合狀態(tài)有調(diào)運車與飛機兩個作業(yè)參與者,由調(diào)運車移動與飛機移動兩個基本狀態(tài)組成,對兩基本狀態(tài)的約束是飛機跟隨調(diào)運車.

圖4 狀態(tài)的例子

事件指實體在兩個連續(xù)時刻的狀態(tài)發(fā)生了改變.事件按復(fù)雜度分為基本事件與組合事件.基本事件是只涉及基本狀態(tài)改變的事件;基本事件的一個例子見圖5(a).該基本事件的參與者只有飛機一個實體,由飛機的兩個基本狀態(tài),飛機移動與飛機滑動組合而成.該基本事件的約束是飛機由移動狀態(tài)轉(zhuǎn)變?yōu)榛瑒訝顟B(tài).復(fù)雜事件是由一系列狀態(tài)與事件組合成的事件;復(fù)雜事件的一個例子見圖5(b).該復(fù)雜事件有兩位操作員和一架飛機3個參與者.構(gòu)成它的子事件包括:w0、w1兩位操作員靜止,飛機靜止,飛機移動,飛機加速滑行.對子事件的約束是:兩位操作員一直保持靜止;飛機由靜止狀態(tài)轉(zhuǎn)變?yōu)橐苿訝顟B(tài),再轉(zhuǎn)變?yōu)榧铀贍顟B(tài).

本文共定義了13個基本狀態(tài)(飛機滑動、飛機移動、調(diào)運車移動、操作員移動、物資轉(zhuǎn)運車移動、物資掛載車移動、物資于物資轉(zhuǎn)運車上、物資不在物資轉(zhuǎn)運車上、物資于物資掛載車上、物資不在物資掛載車上、叉車移動、飛機靜止、操作員靜止)、4個組合狀態(tài)(調(diào)運車調(diào)運飛機、操作員調(diào)運飛機、操作員指揮調(diào)運車調(diào)運飛機、物資轉(zhuǎn)運)、3個基本事件(飛機加速、物資轉(zhuǎn)運車卸載、物資掛載)和1個組合事件(飛機起飛).保障作業(yè)模型就是某個狀態(tài)或某個事件.本文總共定義了13個保障作業(yè)模型,包括:飛機移動、調(diào)運車轉(zhuǎn)運、調(diào)運員移動、物資轉(zhuǎn)運車調(diào)運、物資掛載車調(diào)運、叉車調(diào)運、調(diào)運車調(diào)運飛機、調(diào)運員調(diào)運飛機、調(diào)運員指揮調(diào)運車調(diào)運飛機、物資轉(zhuǎn)運、物資轉(zhuǎn)運車卸載、物資掛載和飛機起飛.

圖5 事件的例子

2.2.2 保障作業(yè)識別

我們依據(jù)保障作業(yè)模型,沿著場景內(nèi)保障作業(yè)層次組合結(jié)構(gòu),自底向上識別保障作業(yè).對只包含一個軌跡的聚類,我們檢測其符合的基本狀態(tài),再依次檢查組合狀態(tài)、基本事件與組合事件[14].為了檢查基本狀態(tài),我們查詢聚類內(nèi)各目標物是否符合基本狀態(tài)的約束;若符合約束,則判斷發(fā)生了對應(yīng)的基本狀態(tài).在檢測組合狀態(tài)時,首先,找到包含發(fā)生的基本狀態(tài)的組合狀態(tài);然后,檢查這些組合狀態(tài)的其他參與者是否被發(fā)現(xiàn).若已被發(fā)現(xiàn),則檢查其約束是否得到滿足.一旦約束得到滿足,則判斷發(fā)生了對應(yīng)的組合狀態(tài).基本事件與組合事件采用類似方法檢查.若軌跡聚類不滿足任何一個狀態(tài)或事件的約束,則視它的兩個子事件為并發(fā)事件.如此,沿著保障作業(yè)層次組合結(jié)構(gòu)逐層向上檢測,直至頂層.整個過程中,檢測到哪些保障作業(yè)模型就表示場景內(nèi)發(fā)生了哪些保障作業(yè).

3 實驗驗證與分析

采用HP Z840 圖形工作站(Intel Xeon 6136 3.0 GHZ,NVIDIA TITAN XP GPU)實現(xiàn)本文方法.為了驗證并分析本文方法,制作了大型艦船艦面保障作業(yè)視頻數(shù)據(jù)集,包括28個視頻,視頻幀速率25幀/s,分辨率1280×720,涉及13種艦面保障作業(yè):飛機移動(PM)、調(diào)運車轉(zhuǎn)運(TM)、調(diào)運員移動(WM)、物資轉(zhuǎn)運車調(diào)運(MTM)、物資掛載車調(diào)運(MMM)、叉車調(diào)運(FM)、調(diào)運車調(diào)運飛機(TMP)、調(diào)運員調(diào)運飛機(WMP)、調(diào)運員指揮調(diào)運車調(diào)運飛機(WTMP)、物資轉(zhuǎn)運(MT)、物資轉(zhuǎn)運車卸載(MTU)、物資掛載(MM)和飛機起飛(PL);各保障作業(yè)的數(shù)量統(tǒng)計見圖6(a),并發(fā)保障作業(yè)數(shù)量統(tǒng)計見圖6(b).

保障作業(yè)識別算法機制分析.保障作業(yè)識別算法可視為保障作業(yè)模型定義的逆過程.作業(yè)模型對保障作業(yè)自頂向下地形式化定義.而保障作業(yè)識別算法從保障作業(yè)模型樹形結(jié)構(gòu)的葉子結(jié)點開始,先識別最基本、最簡單的保障作業(yè)(基本狀態(tài)或基本事件),再向上逐層識別涉及更多目標物、更加復(fù)雜的保障作業(yè)(組合狀態(tài)或組合事件),直至達到保障作業(yè)模型的根結(jié)點,即識別整個場景內(nèi)所有保障作業(yè).保障作業(yè)識別算法的優(yōu)勢有兩點:1)沿著軌跡層次結(jié)構(gòu),依據(jù)保障作業(yè)模型,自底向上,從最簡單、最基本的狀態(tài)或事件開始,逐步檢測到更加復(fù)雜的作業(yè),避免組合爆炸,計算量更小;2)各聚類內(nèi)保障作業(yè)獨立對待,實現(xiàn)同一場景并發(fā)保障作業(yè)的檢測.為了評估本文保障作業(yè)識別算法的性能,對比了如下3種作業(yè)識別算法:

1)Ours:本文提出的保障作業(yè)識別算法.

2)TopDown:沿著場景內(nèi)軌跡層次聚類結(jié)構(gòu),自頂向下識別保障作業(yè),即從軌跡層次結(jié)構(gòu)的根結(jié)點開始,先得到包含根結(jié)點內(nèi)目標物的所有保障作業(yè)模型,再依次對這些作業(yè)模型及其組合逐層向下檢測,得到場景內(nèi)保障作業(yè).

3)Bruteforce:針對場景內(nèi)所有軌跡,遍歷所有保障作業(yè)模型及其組合,檢測場景內(nèi)保障作業(yè).

圖6 保障作業(yè)視頻數(shù)據(jù)集數(shù)量統(tǒng)計

3種作業(yè)識別算法的mAP 見圖7.觀察可知,3種算法的mAP 基本相同.3種作業(yè)識別算法的運行時間見圖8.觀察圖8,TopDown與Bruteforce所用時間遠超本文算法.因為TopDown與Bruteforce 需遍歷所有相關(guān)保障作業(yè)模型及其組合,面臨組合爆炸問題.而本文算法,種,避免了組合爆炸,所用時間極大縮短.

軌跡圖邊權(quán)重對保障作業(yè)檢測效果影響分析.圖9展示了軌跡圖邊權(quán)重計算式內(nèi)軌跡夾角權(quán)重a不同取值對保障作業(yè)檢測mean Average Precision(mAP)的影響.圖10展示了軌跡圖邊權(quán)重計算式內(nèi)軌跡距離權(quán)重b不同取值對保障作業(yè)檢測mAP的影響.

圖7 保障作業(yè)識別算法mAP 對比

圖8 保障作業(yè)識別算法運行時間對比

圖9 不同a 下的mAP 曲線

圖10 不同b 下的mAP 曲線

保障作業(yè)結(jié)構(gòu)提取算法對保障作業(yè)檢測效果影響分析.為了評估本文提出的基于軌跡層次聚類的保障作業(yè)結(jié)構(gòu)提取算法對保障作業(yè)檢測效果的影響,對比了3種聚類方法及無聚類方法的保障作業(yè)檢測結(jié)果:1)本文方法(Ours);2)非層次聚類的方法:采用k-means算法[15]對場景內(nèi)軌跡進行聚類,然后采用本文提出的保障作業(yè)識別算法檢測保障作業(yè)(NoHieCluster);3)無聚類過程的方法:直接用本文保障作業(yè)識別算法檢測保障作業(yè)(NoCluster);4)凝聚層次聚類的方法:采用凝聚層次聚類算法[16],然后采用本文提出的保障作業(yè)識別算法檢測保障作業(yè)(AggCluster).4種方法的保障作業(yè)檢測結(jié)果mAP 如圖11所示,accuracy 如圖12所示.

圖11 使用不同聚類算法的事件檢測的mAP對比結(jié)果

圖12 使用不同聚類算法的事件檢測的accuracy對比結(jié)果

艦面保障作業(yè)檢測效果分析.為了評估本文技術(shù)對艦面保障作業(yè)檢測的效果,計算了各艦面保障作業(yè)的Average Precision (AP)如圖13所示.AP 反映了檢測器對事件的檢測能力.AP值越大,檢測器對該事件的檢測能力越強.觀察圖13可知,調(diào)運車轉(zhuǎn)運(TM)事件的檢測效果最好,而調(diào)運員指揮調(diào)運車調(diào)運飛機(WTMP)的檢測效果最差.因為調(diào)運車轉(zhuǎn)運屬于基本狀態(tài),僅有調(diào)運車一個參與者,相對容易檢測.而調(diào)運員指揮調(diào)運車調(diào)運飛機為組合狀態(tài),涉及調(diào)運員、調(diào)運車與飛機3個參與者,且參與者間必須滿足一定約束,是相對復(fù)雜的事件,所以檢測效果較差.本文技術(shù)針對各艦面保障作業(yè)的accuracy 如圖14所示.,其中TP為判斷正確的正樣本數(shù),為判斷正確的負樣本數(shù),為樣本總數(shù)量.accuracy=(TP+TN)/N

TNNAccuracy是衡量事件檢測正確率的指標,值越大表明針對該事件的檢測性能越好.觀察圖14可知,檢測效果較好的保障作業(yè),如飛機移動(PM)、調(diào)運車轉(zhuǎn)運(TM)、物資轉(zhuǎn)運車調(diào)運(MTM),都是相對簡單的保障作業(yè),只涉及一個目標物.而參與者較多且參與者間相對位置關(guān)系、移動規(guī)律較復(fù)雜的保障作業(yè)(如,調(diào)運員指揮調(diào)運車調(diào)運飛機(WTMP)),相對檢測效果較差.本文技術(shù)的averaged precision-recall 曲線如圖15所示.

圖13 艦面保障作業(yè)檢測的AP

圖14 艦面保障作業(yè)檢測的accuracy

圖15 保障作業(yè)檢測技術(shù)的averaged precsion-recall 曲線

軌跡層次聚類精確性及保障作業(yè)結(jié)構(gòu)提取算法性能分析.為了分析軌跡層次的聚類精確性,計算了聚類算法對各保障作業(yè)的聚類精確率.保障作業(yè)的聚類精確率p=TP/(TP+FP)(TP指該保障作業(yè)的聚類簇內(nèi)正確分類的軌跡個數(shù),FP指該保障作業(yè)的聚類族內(nèi)軌跡個數(shù)).聚類精確率取值范圍 [0,1],值越大表明精確性越高.為了計算各保障作業(yè)的聚類精確率,在大型艦船艦面保障作業(yè)視頻數(shù)據(jù)集上運行軌跡層次聚類算法100次,取平均值;見圖16.觀察圖16,保障作業(yè)的參與者越少(軌跡數(shù)少),聚類精確率越高;反之則聚類精確率越低.比如,飛機移動等只包含一個目標物的保障作業(yè)的聚類精確性達100%;而調(diào)運員指揮調(diào)運車調(diào)運飛機等包含多個目標物的保障作業(yè),聚類精確性相對較低.為了評估保障作業(yè)結(jié)構(gòu)提取算法的性能,在大型艦船艦面保障作業(yè)視頻數(shù)據(jù)集上運行保障作業(yè)結(jié)構(gòu)提取算法100次,計算了結(jié)構(gòu)提取算法對各保障作業(yè)的正確率R=n/N(n指提取保障作業(yè)結(jié)構(gòu)正確的次數(shù),N指保障作業(yè)出現(xiàn)的次數(shù));見圖17.觀察圖17,保障作業(yè)的參與者越少、保障作業(yè)越簡單(包含的子保障作業(yè)少、約束少),結(jié)構(gòu)提取的正確率越高,如調(diào)動員移動(WM)、物資掛載車調(diào)運(MMM)等只包含一個目標物的保障作業(yè),只有一個參與者,結(jié)構(gòu)提取的正確率達100%;而保障作業(yè)參與者越多、保障作業(yè)包含的子保障作業(yè)越多、約束越多,結(jié)構(gòu)提取的正確率越低,如物資轉(zhuǎn)運車卸載(WTU)、調(diào)運員指揮調(diào)運車調(diào)運飛機(WTMP)等保障作業(yè)由多個目標物參與,通過多個子保障作業(yè)構(gòu)成,結(jié)構(gòu)分層較多,導致正確率較低.

圖16 軌跡層次聚類算法針對各保障作業(yè)的聚類精確率

保障作業(yè)檢測技術(shù)對比.為了評估本文方法(Ours)檢測保障作業(yè)的效果,與其他3種復(fù)雜事件檢測技術(shù)做了對比:1)Timeception,利用基于多尺度時間卷積核檢測復(fù)雜事件[17];2)EODL (Event Oriented Dictionary Learning)[8],首先從圖像數(shù)據(jù)庫內(nèi)學習語義概念,然后與多任務(wù)字典學習框架結(jié)合,得到各事件的字典表示形式;3)Unsupervised,在子事件的視頻特征描述與子事件的時間結(jié)構(gòu)間迭代,檢測由若干子事件構(gòu)成的復(fù)雜事件[18].4種方法的mAP對比結(jié)果如圖18所示,accuracy對比結(jié)果如圖19所示.

圖17 保障作業(yè)結(jié)構(gòu)提取算法針對各保障作業(yè)的正確率

圖18 mAP對比結(jié)果

圖19 Accuracy對比結(jié)果

4 結(jié)論與展望

為了解決大型艦船艦面保障作業(yè)檢測問題,本文提出基于視頻事件的保障作業(yè)檢測技術(shù),實現(xiàn)了同一視頻場景內(nèi)并發(fā)的參與者位置交叉的艦面保障作業(yè)的檢測.在預(yù)處理階段,獲取艦面監(jiān)控視頻內(nèi)目標物運動軌跡.在保障作業(yè)檢測階段,將艦面保障作業(yè)視為更小粒度保障作業(yè)按一定約束組合成的復(fù)雜事件,先采用基于軌跡層次聚類的保障作業(yè)結(jié)構(gòu)提取算法,確定場景內(nèi)保障作業(yè)的組合層次結(jié)構(gòu);再采用基于作業(yè)模型的保障作業(yè)識別算法,逐層識別保障作業(yè)類型.實驗結(jié)果表明,本文方法具有良好的艦面保障作業(yè)檢測效果,并可檢測同一視頻場景內(nèi)同時發(fā)生的且參與者位置交叉的艦面保障作業(yè).

局限與未來的工作.當前軌跡修剪方法不夠魯棒,軌跡多且高度重疊的情況下無法得到清晰連貫的軌跡,未來打算開發(fā)更加高效的軌跡跟蹤算法與軌跡修剪方法.本文方法基于軌跡推斷保障作業(yè),所以無法檢測參與者無明顯移動的保障作業(yè)(比如,飛機檢查、機械師站在飛機尾部區(qū)域檢測飛機).為此,打算進一步完善保障作業(yè)檢測技術(shù),增加動作檢測或姿態(tài)檢測,使可檢測參與者無明顯移動的保障作業(yè).目前定義的保障作業(yè)模型種類有限,而保障作業(yè)種類繁多,無法檢測未定義作業(yè)模型的保障作業(yè),將來進一步完善、擴充保障作業(yè)模型,使其涵蓋更多的保障作業(yè)類.