海上船舶智能檢測(cè)及其關(guān)鍵算法研究

張訓(xùn)源 王華超 吳慶海 蔡喜光

（1.威海海洋職業(yè)學(xué)院 機(jī)電工程系，威海 264300；2.威海市智慧海洋漁業(yè)裝備工程技術(shù)研究中心，威海 264300）

海上船舶檢測(cè)是運(yùn)用檢測(cè)算法標(biāo)定圖片或視頻中船舶的檢測(cè)技術(shù)。在科技飛速發(fā)展的今天，以圖像為載體的目標(biāo)識(shí)別技術(shù)在日常生活中應(yīng)用廣泛。但是，在實(shí)際檢測(cè)中，海上環(huán)境的多變性會(huì)導(dǎo)致船舶以各種姿態(tài)出現(xiàn)。海浪、光照變化等因素復(fù)雜多變，使得海上船舶檢測(cè)效果不夠理想。此外，高分辨率攝像機(jī)的日益普及也給實(shí)時(shí)檢測(cè)帶來(lái)了機(jī)遇。

在以圖像處理為背景的目標(biāo)檢測(cè)算法中，基于統(tǒng)計(jì)學(xué)習(xí)的檢測(cè)算法比較常見。該算法需要在大量的正負(fù)樣本下，從數(shù)學(xué)角度描述特征，得到特征算子[1]。現(xiàn)有的算子多采用Haar小波[2-3]、主分量分析[4-5]、方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征等算法來(lái)提取特征點(diǎn)[6]，再應(yīng)用支持向量機(jī)（Support Vector Machine，SVM）、AdaBoost和決策樹算法[7-9]進(jìn)行分類。其中，HOG+SVM檢測(cè)算法最經(jīng)典，應(yīng)用也最廣泛。

通常一張圖片會(huì)包含多個(gè)尺度的船舶，因此在檢測(cè)時(shí)普遍采用多尺度滑動(dòng)窗口法進(jìn)行全局遍歷式搜索。這個(gè)過(guò)程需要對(duì)每一個(gè)滑動(dòng)窗口提取特征。一幅N×N大小的圖像，候選窗口有N4個(gè)，而大多數(shù)的窗口都不包含檢測(cè)目標(biāo)。所以，如何減少滑動(dòng)窗口的數(shù)量和降低算法耗時(shí)，是提升檢測(cè)速度的關(guān)鍵。人在識(shí)別圖像中的檢測(cè)目標(biāo)時(shí)，往往會(huì)快速過(guò)濾背景區(qū)域，將注意力集中在顯著區(qū)域。以此為背景，眾多學(xué)者提出了一系列快速過(guò)濾算法。例如：魏麗等人通過(guò)普殘留顯著性檢測(cè)構(gòu)建似物性分析，實(shí)現(xiàn)了紅外圖像行人檢測(cè)，但后續(xù)處理過(guò)程較為復(fù)雜[10]；程明明等人提出的規(guī)范二進(jìn)制梯度特征（Binarized Normed Gradients，BING）是一種新的描述算子，可以快速標(biāo)記一幅圖像中的似物性物體，算法簡(jiǎn)單，檢測(cè)速度快，但屬于多尺度、無(wú)類別標(biāo)記，需要進(jìn)一步處理候選框[11]。

基于此，本文在BING似物性檢測(cè)的基礎(chǔ)上引入一種基于相似度匹配的篩選模型。首先，似物性檢測(cè)在圖片中標(biāo)記一系列的似物性候選框。其次，選取場(chǎng)景中某一檢測(cè)目標(biāo)的向量直方圖作為匹配模板，計(jì)算似物性候選框與模板的相似度，過(guò)濾相似度低的其他類別物體。最后，對(duì)剩余候選框進(jìn)行最終的判別。

1 基于Prewitt算子的海天線檢測(cè)

在海上進(jìn)行船舶檢測(cè)，首先要解決檢測(cè)區(qū)域問(wèn)題。攝像機(jī)捕捉到的畫面包括兩部分，分別是海水和天空。待檢測(cè)圖片，如圖1所示。由于船舶不會(huì)出現(xiàn)在天空中，因此需要標(biāo)定海面與天空的分界線，以減少飛機(jī)、云朵等干擾因素，如圖2所示。Prewitt算子是一種一階微分算子，利用像素點(diǎn)上下左右鄰點(diǎn)灰度差，在邊緣處達(dá)到極值檢測(cè)邊緣，對(duì)噪聲具有平滑作用，可以有效檢測(cè)海天線。

圖1 待檢測(cè)圖片

圖2 海天線標(biāo)定

2 基于似物性度量的初步檢測(cè)

似物性是指與類別無(wú)關(guān)的所有物體。在一幅圖像中，“物體”最大的特點(diǎn)是具有良好的封閉輪廓，而與之對(duì)應(yīng)的背景元素則是單一或雜亂無(wú)章的[12-14]。似物性檢測(cè)作為第一級(jí)分類器，訓(xùn)練時(shí)把有物體屬性的圖片作為正樣本，將背景圖片作為負(fù)樣本，將所有的正負(fù)樣本圖片大小縮放到8×8，計(jì)算每個(gè)樣本的64維梯度值即規(guī)范梯度特征，如圖3所示。

圖3 規(guī)范梯度特征

在檢測(cè)物體時(shí)，所有的窗口都會(huì)縮放到統(tǒng)一的尺度進(jìn)行判別，因此規(guī)范梯度特征對(duì)目標(biāo)的尺度和縱橫比有良好的適應(yīng)性。為進(jìn)一步提高算法速度，對(duì)規(guī)范梯度特征進(jìn)行近似運(yùn)算，計(jì)算公式為

式中：bk,l為提取的BING特征值；gt為BING的近似值；Ng為近似位數(shù)，即實(shí)驗(yàn)用的BING特征向量位數(shù)。

篩選時(shí)，利用得到的分類器ω∈R64對(duì)所有掃描窗口打分，計(jì)算公式為

式中：st為掃描窗得分，分值越高，表示該區(qū)域包含物體的可能性越大；gt為規(guī)范梯度特征；i為檢索尺寸；(x,y)為窗口位置；l為i尺存下的坐標(biāo)。

似物性搜索運(yùn)用的是多尺度滑動(dòng)窗口法。不同大小的窗口包含物體的概率不同，因此在對(duì)候選窗口打分時(shí)采用多尺度打分，即

式中：vi,ω∈R；i為不同尺度的窗口。針對(duì)尺度i，得到該尺度下的學(xué)習(xí)系數(shù)。最后，對(duì)所有的搜索窗口打分進(jìn)行排序，選擇合適的閾值，將排名靠前的窗口作為似物性候選窗口。

圖4為排名前30的似物性候選窗口標(biāo)定結(jié)果。可以看出，船舶、太陽(yáng)以及海浪等目標(biāo)都被標(biāo)定。然而，多尺度搜索導(dǎo)致候選窗幾乎布滿了整個(gè)圖像區(qū)域，需要在此基礎(chǔ)上進(jìn)一步減少候選窗口數(shù)量，把注意力集中在感興趣區(qū)域，進(jìn)一步提高檢測(cè)速度。

圖4 似物性檢測(cè)結(jié)果

3 基于相似度匹配的快速篩選

似物性檢測(cè)標(biāo)記了一幅圖像中有物體屬性的候選框，這里的物體是多尺度且不分類別的，需要進(jìn)一步篩選。如圖5所示，實(shí)驗(yàn)中發(fā)現(xiàn)同一場(chǎng)景中船舶與背景的直方圖分布存在很大差異。船舶的直方圖分布相對(duì)分散，而背景圖像的分布集中于某一個(gè)區(qū)間，因此可以利用這一特性過(guò)濾掉背景窗口[15-17]。

圖5 直方圖分布

灰度直方圖是像素的統(tǒng)計(jì)特征，用來(lái)描述灰度像素出現(xiàn)的概率，可表示為

式中：H(P)為灰度直方圖的向量表示形式；h(xi)為灰度值xi出現(xiàn)的概率；S(xi)為灰度值xi出現(xiàn)的總次數(shù)。

向量間夾角大小可以表示兩者的相似程度。將兩幅圖像的灰度直方圖寫成向量形式，計(jì)算兩者之間的夾角，以此判斷兩個(gè)圖像的差異度，計(jì)算方法為

式中：ra、rb分別為兩幅圖像的直方圖向量；ai、bj分別為直方圖中每個(gè)維度的數(shù)值。由于ra、rb都是正整數(shù)，因此θA,B為0°～90°。為了更加直觀地看到相似度，將夾角與0%～100%對(duì)應(yīng)，把夾角大小歸一化到0～1之間，則A與B的相似度可表示為

式中：S(A,B)為相似度；0.011為將90°歸一化到數(shù)值100%時(shí)的轉(zhuǎn)換系數(shù)。

由圖6可見，經(jīng)過(guò)相似度匹配，多數(shù)背景窗口被成功過(guò)濾，初步解決了多尺度似物性檢測(cè)導(dǎo)致的候選窗口類別多、數(shù)量大的問(wèn)題，但候選窗中仍有少部分背景圖片被保留，需要進(jìn)一步判別。

圖6 相似度匹配結(jié)果

4 基于HOG+SVM的船舶人員判定

某些場(chǎng)合下，船舶檢測(cè)定位后需要對(duì)船上人員進(jìn)行異常行為檢測(cè)與跟蹤，包括檢測(cè)船舶上人員的走動(dòng)以及是否升降旗等異常行為。

HOG特征從數(shù)學(xué)角度將圖像信息整合為向量形式，是對(duì)圖像的編碼，在目標(biāo)檢測(cè)方面有較普遍的應(yīng)用。首先，將圖像細(xì)分成單元、塊、滑動(dòng)窗口，每4個(gè)單元組成一個(gè)塊。其次，計(jì)算每個(gè)像素的梯度和方向。最后，將梯度方向按步長(zhǎng)平分為9個(gè)區(qū)間，計(jì)算各區(qū)間直方圖，并用像素梯度幅值作為權(quán)重進(jìn)行投票。每個(gè)塊中4個(gè)直方圖按序連接，形成塊的特征向量，將塊特征向量串聯(lián)得到一個(gè)高維向量，即該圖像的HOG特征[18-21]。

實(shí)驗(yàn)中選擇2 000張大小為96×160且包含行人的圖像作為正樣本，1 200張大小不一的不包含行人的圖片作為負(fù)樣本，經(jīng)SVM訓(xùn)練得到行人檢測(cè)分類器。似物性檢測(cè)得到的候選框大小遠(yuǎn)遠(yuǎn)小于原始圖片，因此不再進(jìn)行滑動(dòng)搜索，直接提取剩余候選窗口的HOG特征，并使用行人檢測(cè)分類器進(jìn)行判定，結(jié)果如圖7所示。

圖7 檢測(cè)結(jié)果

5 結(jié)語(yǔ)

算法首先利用邊緣檢測(cè)算法提取海天線，提升檢測(cè)區(qū)域的準(zhǔn)確性，改善檢測(cè)算法的實(shí)時(shí)性。其次，算法利用似物性檢測(cè)方法初步估計(jì)船舶的位置，以方便后面對(duì)檢測(cè)區(qū)域的劃定和相應(yīng)的船舶目標(biāo)提取。再次，利用相似度匹配方法排除干擾項(xiàng)，鎖定船舶位置。最后，利用HOG+SVM方式對(duì)船上的人員進(jìn)行識(shí)別定位，進(jìn)一步判別船上人員有無(wú)危險(xiǎn)行為。實(shí)驗(yàn)結(jié)果表明：一方面，算法可準(zhǔn)確有效實(shí)現(xiàn)海上船舶的檢測(cè)，借助行人檢測(cè)技術(shù)實(shí)現(xiàn)對(duì)船舶人員的識(shí)別；另一方面，算法只是對(duì)船上人員進(jìn)行檢測(cè)，后續(xù)需進(jìn)一步研究船上人員的具體行為判別。