岸邊集裝箱起重機(jī)司機(jī)操作意圖識(shí)別方法研究

趙羽蔚，嚴(yán) 偉，陸后軍，俞翔棟

（上海海事大學(xué) 集裝箱供應(yīng)鏈技術(shù)教育部工程研究中心，上海 201306）

0 引言

近年來(lái)，港口碼頭生產(chǎn)安全事故頻繁發(fā)生，港口工作者的安全越來(lái)越受到重視，同時(shí)也有更多人對(duì)港口機(jī)械智能輔助駕駛系統(tǒng)[1]進(jìn)行研究。港口機(jī)械智能輔助駕駛系統(tǒng)可通過(guò)識(shí)別司機(jī)的操作意圖后，進(jìn)行輔助裝卸操作。Luzheng Bi[2]等人使用基于排隊(duì)網(wǎng)絡(luò)的駕駛員模型認(rèn)知結(jié)構(gòu)來(lái)推測(cè)變道司機(jī)的駕駛意圖，通過(guò)排隊(duì)網(wǎng)絡(luò)為基礎(chǔ)的駕駛員模型仿真多種可能的駕駛意圖相對(duì)的駕駛行為，通過(guò)比較真實(shí)數(shù)據(jù)和仿真結(jié)果推斷駕駛員意圖。Qingnian Wang[3]等人通過(guò)數(shù)理統(tǒng)計(jì)和神經(jīng)網(wǎng)絡(luò)建立模糊邏輯推理系中的隸屬度函數(shù)和規(guī)則，采用模糊邏輯推理系統(tǒng)識(shí)別駕駛意圖。就目前而言，國(guó)內(nèi)外對(duì)駕駛員意圖識(shí)別的研究較少，并且研究對(duì)象主要是汽車(chē)駕駛員，而針對(duì)岸邊集裝箱起重機(jī)司機(jī)的操作意圖識(shí)別算法研究尚未發(fā)現(xiàn)。

本文基于隱馬爾科夫模型（Hidden Markov Model，HMM），針對(duì)橋吊司機(jī)建立了雙層 HMM模型，分別為操作層和意圖層，用于識(shí)別橋吊司機(jī)裝卸操作行為[4]和操作意圖[5,6]；運(yùn)用修改后的Forward-Backward算法，計(jì)算數(shù)據(jù)組相對(duì)于各個(gè)HMM 模型的似然度，選擇似然度最大的模型作為操作識(shí)別結(jié)果，組成觀察序列串后，用于計(jì)算意圖層各個(gè)HMM模型的似然度，選擇似然度最大的模型作為橋吊司機(jī)的操作意圖。

1 理論基礎(chǔ)

1.1 馬爾科夫鏈

馬爾可夫鏈?zhǔn)菙?shù)學(xué)中具有馬爾可夫性質(zhì)的離散時(shí)間隨機(jī)過(guò)程。在這個(gè)過(guò)程中，某個(gè)事物未來(lái)的狀態(tài)僅與當(dāng)前的若干個(gè)狀態(tài)相關(guān)，無(wú)法通過(guò)該事物過(guò)去的狀態(tài)來(lái)推測(cè)未來(lái)的狀態(tài)，即說(shuō)明過(guò)去與未來(lái)的狀態(tài)是無(wú)關(guān)的。

1.2 隱馬爾科夫模型

隱馬爾科夫模型是馬爾科夫鏈的一種，其狀態(tài)不能被直接觀察到，稱(chēng)其為隱性狀態(tài)，需借助其它觀察序列進(jìn)行觀察，而可觀察的序列則稱(chēng)為觀察序列。每個(gè)隱性狀態(tài)通過(guò)相應(yīng)概率密度分布產(chǎn)生相應(yīng)觀察序列，每個(gè)觀察序列通過(guò)某些概率密度分布進(jìn)行變換，因此隱馬爾科夫模型是一個(gè)雙重隨機(jī)過(guò)程。

1.3 修改后的向前-向后算法

給定HMM模型參數(shù)λ的前提下，定義前向變量αt(i)，它表示t時(shí)刻滿(mǎn)足狀態(tài)si，且t時(shí)刻之前（包括t時(shí)刻）滿(mǎn)足給定的觀察序列(O1, O2,…, Ot)的概率；同理定義后向變量βt(i)，它表示在時(shí)刻t出現(xiàn)狀態(tài)si，且t時(shí)刻以后的觀察序列滿(mǎn)足(Ot+1, Ot+2,…,OT)的概率，對(duì)于構(gòu)建的橋吊司機(jī)HMM模型，修改后的前向變量αt(i)和后向變量βt(i)的具體形式如下:

式中，aij定義為從狀態(tài)si轉(zhuǎn)移到狀態(tài)sj的概率，bi(O2t(l))定義為時(shí)刻t時(shí)狀態(tài)為si的前提下，對(duì)應(yīng)4組觀察值中滿(mǎn)足O2t(l)的概率。假定l=1代表小車(chē)運(yùn)行狀態(tài)，l=2代表吊具升降狀態(tài)，l=3代表開(kāi)閉鎖開(kāi)閉狀態(tài)，l=4代表導(dǎo)板收放狀態(tài)，則O21(l)代表時(shí)刻t=1時(shí)的小車(chē)運(yùn)行狀態(tài)的觀察序列。

2 雙層HMM意圖辨識(shí)模型構(gòu)建

2.1 橋吊司機(jī)裝卸操作規(guī)律

橋吊司機(jī)的裝卸操作是一個(gè)連續(xù)、復(fù)雜的過(guò)程，在人-機(jī)組成的閉環(huán)系統(tǒng)中，人要根據(jù)裝卸作業(yè)情況，結(jié)合自身的操作意愿和習(xí)慣，對(duì)岸邊集裝箱起重機(jī)進(jìn)行操作控制，完成各種港口裝卸作業(yè)。根據(jù)不同的港口裝卸環(huán)境，橋吊司機(jī)做出的反應(yīng)受心理狀態(tài)的影響，其操作流程復(fù)雜、多樣，但在相似的裝卸環(huán)境下，橋吊司機(jī)具有特定的操作規(guī)律。以下分別是關(guān)于吊箱作業(yè)及卸箱作業(yè)的一般操作規(guī)律。對(duì)于吊箱作業(yè)的復(fù)合工況，有以下操作規(guī)律:小車(chē)加速前進(jìn)→小車(chē)減速→小車(chē)停止且吊具加速下降→吊具減速→吊具停止且放下導(dǎo)板→吊具低速下降對(duì)接→閉鎖→吊具加速上升→吊具減速。同樣，對(duì)于卸箱作業(yè)有以下駕駛操作規(guī)律:小車(chē)加速后退→小車(chē)減速→小車(chē)停止，吊具加速下降→吊具減速下降，對(duì)接→開(kāi)鎖→吊具加速上升→收起導(dǎo)板→吊具減速。因此，可基于橋吊駕駛員操作行為的普遍規(guī)律，對(duì)操作意圖進(jìn)行識(shí)別。

基于隱馬爾科夫模型的特征，針對(duì)岸邊集裝箱起重機(jī)司機(jī)構(gòu)建雙層HMM模型。操作層HMM（下層）模型包含4個(gè)HMM模型集，分別對(duì)應(yīng)小車(chē)運(yùn)行、吊具升降、開(kāi)閉鎖開(kāi)閉和導(dǎo)板收放。應(yīng)用不同操作行為所對(duì)應(yīng)的觀察序列分別訓(xùn)練4個(gè)只涉及小車(chē)運(yùn)行的HMM模型，4個(gè)只涉及吊具升降的HMM模型，2個(gè)只涉及開(kāi)閉鎖開(kāi)閉的HMM模型和2個(gè)只涉及導(dǎo)板收放的HMM模型。將一長(zhǎng)段觀察序列進(jìn)行分段處理之后，輸入到各個(gè)HMM模型群中，逐段識(shí)別小車(chē)運(yùn)行、吊具升降、開(kāi)閉鎖開(kāi)閉和導(dǎo)板收放等4個(gè)單一工況的識(shí)別結(jié)果串，并將其按照港口集裝箱裝卸操作規(guī)律分段處理后作為意圖層HMM（上層）的觀察序列，分別對(duì)應(yīng)意圖層中規(guī)范吊箱、規(guī)范卸箱、非規(guī)范吊箱、非規(guī)范卸箱的HMM模型。雙層HMM模型結(jié)構(gòu)如圖1所示。基于這樣的模型結(jié)構(gòu)，各模塊可獨(dú)立操作HMM層完成識(shí)別，有效提高了運(yùn)行效率，實(shí)時(shí)識(shí)別橋吊司機(jī)操作行為，準(zhǔn)確辨識(shí)橋吊司機(jī)操作意圖。

圖1 橋吊司機(jī)意圖識(shí)別的雙層HMM模型結(jié)構(gòu)

2.2 操作層HMM模型

針對(duì)小車(chē)運(yùn)行，橋吊司機(jī)的操作行為包括小車(chē)正常加速運(yùn)行、小車(chē)緊急加速運(yùn)行、小車(chē)正常減速運(yùn)行、小車(chē)緊急減速運(yùn)行，采集橋吊駕駛員操作的傳感器數(shù)據(jù)，包括小車(chē)運(yùn)行拉桿檔位、小車(chē)運(yùn)行拉桿速度等，構(gòu)建小車(chē)正常加速運(yùn)行、小車(chē)緊急加速運(yùn)行、小車(chē)正常減速運(yùn)行、小車(chē)緊急減速運(yùn)行等 4個(gè)HMM模型，用于識(shí)別短時(shí)間內(nèi)小車(chē)運(yùn)行的操作行為。其HMM群的觀察序列可以描述為如下多維向量組的形式:

式中:O1(t)為小車(chē)運(yùn)行的HMM群；a(t)、b(t)分別為小車(chē)運(yùn)行拉桿的檔位和小車(chē)運(yùn)行拉桿的速度。運(yùn)用Forward-Backward算法，在MATLAB環(huán)境下分別計(jì)算小車(chē)運(yùn)行數(shù)據(jù)組相對(duì)于各個(gè)HMM模型的似然度，然后選擇似然度最大的模型作為小車(chē)運(yùn)行操作識(shí)別結(jié)果。

針對(duì)吊具升降，可構(gòu)建吊具正常加速升降、緊急加速升降、正常減速升降、緊急減速升降等4個(gè)HMM模型，其多維向量組的形式同上。

針對(duì)開(kāi)閉鎖開(kāi)閉，可構(gòu)建開(kāi)閉鎖的開(kāi)鎖和閉鎖2個(gè)HMM模型，其HMM群的觀察序列可以描述為如下向量組的形式:

式中:O2(t)為開(kāi)閉鎖的HMM群；e(t)為開(kāi)閉鎖的開(kāi)閉狀態(tài)。

針對(duì)導(dǎo)板收放，可構(gòu)建導(dǎo)板收起和放下的HMM模型，其與開(kāi)閉鎖具有相同形式的向量組。

2.3 意圖層HMM模型

針對(duì)橋吊司機(jī)裝卸操作過(guò)程，其操作意圖包括規(guī)范吊箱、規(guī)范卸箱、非規(guī)范吊箱、非規(guī)范卸箱。將得到的操作層HMM的三維識(shí)別結(jié)果串，按特定復(fù)合工況下的裝卸操作意圖進(jìn)行劃分，并作為意圖層HMM模型的觀察序列，用以計(jì)算對(duì)于意圖層各個(gè)HMM模型的似然度。其觀察序列可以表述成如下向量組的形式:

式中，x(t)、y(t)、u(t)、v(t)分別為有關(guān)小車(chē)運(yùn)行、吊具升降、開(kāi)關(guān)鎖開(kāi)閉和導(dǎo)板收放的操作層HMM的識(shí)別結(jié)果。

識(shí)別各個(gè)單一工況的橋吊司機(jī)操作行為，組成觀察序列串后，送入意圖層HMM模型集，計(jì)算各HMM模型的似然度，識(shí)別橋吊司機(jī)的操作意圖。

3 雙層HMM意圖辨識(shí)模型參數(shù)確定

3.1 操作層HMM（下層）模型

操作層HMM模型輸入的數(shù)據(jù)組包括小車(chē)運(yùn)行拉桿檔位、小車(chē)運(yùn)行拉桿速度、吊具升降拉桿檔位、吊具升降拉桿速度、開(kāi)閉鎖的開(kāi)閉狀態(tài)，導(dǎo)板的收放狀態(tài)等作為操作層HMM（下層）模型的觀察序列，分別用以識(shí)別小車(chē)正常加速運(yùn)行、小車(chē)緊急加速運(yùn)行、小車(chē)正常減速運(yùn)行、小車(chē)緊急減速運(yùn)行、吊具正常加速升降、吊具緊急加速升降、吊具正常減速升降、吊具緊急減速升降、開(kāi)閉鎖開(kāi)鎖、開(kāi)閉鎖閉鎖、導(dǎo)板收起、導(dǎo)板放下等12種橋吊司機(jī)操作行為，以橋吊司機(jī)裝卸操作規(guī)律為依據(jù)，假設(shè)如下的狀態(tài)轉(zhuǎn)移矩陣，狀態(tài)轉(zhuǎn)移矩陣中的元素xij均表示從第i行對(duì)應(yīng)狀態(tài)轉(zhuǎn)換至第j列對(duì)應(yīng)狀態(tài)的概率，行代表t時(shí)刻的狀態(tài)，列代表t+1時(shí)刻的狀態(tài)。

小車(chē)運(yùn)行拉桿的檔位共分為7檔，其中1至3檔用作前向加速，5至7檔用作后向加速，4檔用作制動(dòng)。矩陣中，行代表at的狀態(tài)，從上至下依次為1至7檔的狀態(tài)，列代表at+1的狀態(tài)，從左至右依次為1至7檔的狀態(tài)。小車(chē)運(yùn)行拉桿速度、吊具升降拉桿檔位和速度、開(kāi)關(guān)鎖開(kāi)閉及導(dǎo)板收放的狀態(tài)轉(zhuǎn)移矩陣形式同上。

3.2 意圖層HMM（上層）模型

將得到的操作層HMM的三維識(shí)別結(jié)果串按特定復(fù)合工況下裝卸操作意圖進(jìn)行劃分，并作為意圖層HMM模型的觀察序列，用以識(shí)別包括規(guī)范吊箱、規(guī)范卸箱、非規(guī)范吊箱、非規(guī)范卸箱等的操作意圖。在混淆矩陣中，列代表裝卸操作過(guò)程中4種操作意圖，從左至右依次為規(guī)范吊箱、規(guī)范卸箱、非規(guī)范吊箱、非規(guī)范卸箱，矩陣中的元素yij表示第i行對(duì)應(yīng)的操作行為對(duì)應(yīng)第j列操作意圖的概率。矩陣中，行代表小車(chē)的操作行為，從上至下依次為小車(chē)正常加速、小車(chē)緊急加速、小車(chē)正常減速、小車(chē)緊急減速。吊具運(yùn)行、開(kāi)閉鎖開(kāi)閉、導(dǎo)板收放的混淆矩陣形式同上。

4 案例分析

運(yùn)用修改后的Forward-Backward算法，計(jì)算各個(gè)HMM模型的似然度，選取似然度最大的結(jié)果作為識(shí)別結(jié)果（表1）。表中小車(chē)?yán)瓧U檔位分為7檔，前3檔控制前向加速，后3檔控制后向加速，中間檔控制制動(dòng)；速度分為2級(jí)，第1級(jí)為正常拉動(dòng)，第2級(jí)為緊急拉動(dòng)。吊具升降拉桿分為7檔，前3檔控制加速上升，后3檔控制加速下降，中間檔控制制動(dòng)；速度分為2級(jí)，第1級(jí)為正常拉動(dòng)，第2級(jí)為緊急拉動(dòng)。開(kāi)閉鎖狀態(tài)分為2個(gè)，第1個(gè)為開(kāi)鎖，第2個(gè)為閉鎖；導(dǎo)板狀態(tài)分為2個(gè)，第1個(gè)為收板，第2個(gè)為放板；操作意圖分為4種，依次為規(guī)范吊箱、規(guī)范卸箱、非規(guī)范吊箱、非規(guī)范卸箱。參照實(shí)際港口裝卸操作規(guī)律，將小車(chē)?yán)瓧U、吊具拉桿、開(kāi)閉鎖及導(dǎo)板狀態(tài)輸入構(gòu)建的雙層HMM模型進(jìn)行識(shí)別（表1）。將橋吊司機(jī)操作意圖識(shí)別結(jié)果與實(shí)際操作意圖進(jìn)行比對(duì)可知，該模型可準(zhǔn)確識(shí)別岸邊集裝箱起重機(jī)司機(jī)的操作意圖。

表1 雙層HMM模型識(shí)別結(jié)果

5 結(jié)論

以橋吊駕駛員裝卸操作規(guī)律為依據(jù)，建立雙層HMM 模型結(jié)構(gòu)，對(duì)模型識(shí)別結(jié)果進(jìn)行分析，結(jié)果表明，該模型可準(zhǔn)確識(shí)別復(fù)雜工況下的橋吊司機(jī)操作意圖，可用于研究港口機(jī)械智能輔助駕駛系統(tǒng)，從而減少港口碼頭生產(chǎn)安全事故發(fā)生，并且有助于提高港口裝卸效率。

[1]馮頡. 面向汽車(chē)安全輔助系統(tǒng)的駕駛員意圖識(shí)別算法研究[D]. 成都:電子科技大學(xué), 2013.

[2]Bi, L.Z., Yang, X.R., Wang C.E. Inferring Driver Intentions Using a Driver Model Based on Queuing[C]//2013 IEEE Intelligent Vehicles Symposium (IV). 2013:1387-1391.

[3]Wang Q.N., Tang X.Z., Sun L. Driving Intention Identification Method for Hybrid Vehicles Based on Fuzzy Logic[C]//Proceedings of the FISITA 2012 World Automotive Congress Lecture Notes in Electrical Engineering. 2013:287-298.

[4]施笑畏, 牛延華. 基于行為分析的橋吊司機(jī)操作規(guī)范研究[J]. 計(jì)算機(jī)光盤(pán)軟件與應(yīng)用, 2013(2):69-70.

[5]Jin M.J. A New Vehicle Safety Space Model Based on Driving Intention[C]// Third International Conference on Intelligent System Design and Engineering Applications. 2013:131-134.

[6]Zong C.F., Wang C., Yang D.J., et al. Driving intention identification and maneuvering behavior prediction of drivers on cornering[C]//Proceedings of the 2009 IEEE International Conference on Mechatronics and Automation. 2009:4055-4060.