一種安檢CT圖像的多視角匹配算法設計及應用

馮瑋 查艷麗 任世龍 公安部第一研究所

引言

近年來，各地隨著平安中國建設的不斷推進，在公共安全領域，無論是大型安?；顒?，還是軌道交通及民用航空等場景，安全檢查的標準都在不斷提升，尤其是會對旅客行包中是否包含違禁品進行重點關注。隨著人工智能技術在生活中的應用越來越廣泛，以目標檢測算法為基礎的違禁品智能探測技術已逐步走進人們的日常安檢過程中。通過智能探測技術可以快速的將旅客行包進行篩查，對禁止攜帶的物品進行快速定位并甄別品類，對安檢員判讀起到輔助作用，減少因安檢員疲勞工作引起的漏檢等問題。

隨著安檢設備的迭代更新，針對行包檢查的CT設備逐漸應用在多個場景中，CT設備呈現的圖像是三維的，可在不同方向上進行旋轉，進而可在多個角度上對旅客的行包進行觀察，減少因物品重疊而導致誤判和漏檢的問題。與常見X射線安檢機一樣，CT設備上也應用了目標檢測算法對違禁品進行智能輔助探測，但與普通X射線安檢機不同的是，為了確定目標物的三維坐標信息，需要在多個視角同時探測，將同一目標物在多個視角下的探測結果進行匹配與處理，最終得到目標物的三維空間信息。常見的模板匹配等算法，往往對匹配目標的空間位置變化要求較為苛刻，若圖像發生旋轉或大小變化則會對匹配結果產生較大影響。安檢圖像中的目標物會由于觀測視角的不同而在圖像中呈現出角度和尺寸上的改變，這就對匹配過程提出了更高的要求。

為了能夠精準匹配不同視角的目標物，本文提出了一種基于相似性度量的方法，對每個目標物在當前視角下的探測結果進行特征提取，并與其他視角同類別目標物探測框進行相似性評價，找到評價分數最接近的目標物，再經過一系列邏輯判斷，確定兩者是否真正匹配，為后續的整合處理做準備。

一、設計思路

（一）總體設計思路

目標物匹配算法的工作原理如圖1所示。匹配過程輸入同一行包三個角度的探測結果，針對某類目標物的匹配，首先使用視角1與視角3進行匹配，其次使用視角1與視角2進行匹配，若該類目標物在兩次匹配過程中都匹配上且不存在未匹配上的情況，則結束匹配，若兩次都存在未匹配上的情況，則進行視角2與視角3的匹配作為結果的補充，如圖1所示。

由算法原理圖可知，匹配的過程每次都是兩個視角進行比較，具體工作流程如圖2所示。首先對兩個視角的目標物探測框進行相似性評價，通過尋找最小的評價分數，確定初步匹配結果，即粗匹配過程，其次再進行重疊處理，即需要判斷是否存在重復匹配的情況，若存在則需要將重復匹配的幾對目標物挑選出來進行重新匹配，最后對匹配結果進行截斷處理，即通過將兩個視角目標物的二維坐標信息進行比較，對差距較大的匹配結果進行截斷，最終得到兩個視角的匹配結果。

（二）探測框的相似性評價方法

為了能夠量化不同視角探測框之間的匹配程度，本文設計了一種探測框的相似性評價方法，對探測框之間的相似程度進行打分，分數越低代表兩探測框差異越小，在空

間位置上越接近，代表同一目標物的可能性越高。其主要的設計思想是對兩個不同探測框分別進行特征提取，并對特征的相似性進行評價，計算方法如公式（1）所示，具體包括對探測框的中心點位置信息（xcen,ycen）、寬高比w/h、置信度分數score、探測框角點坐標與圖信息（x1,w,y1,h,x2,w,y2,h）、探測框區域面積area共計5種特征進行比較，并乘以不同權重進行求和，作為兩探測框的相似性分數。本文使用翻轉、調整圖像尺寸等方式使匹配的兩視角接近于同一空間，然后再進行特征的提取，如圖3所示，具體計算方法如公式（2）至公式（8）所示。

由于不同特征對相似性評價分數的貢獻并不一致，本文設計了不同權值以客觀反映其重要程度，α、β、γ、δ、ε分別為2、0.2、0.5、6、0.001。

在對探測框完成特征提取后，按類別兩兩進行相似性評價分數的計算，具體計算過程如圖4所示。

在評價分數計算完畢后，通過查找視角A中的每個探測框對應的最小分數，即表1中每一豎列的最小值，并以該值所對應的視角B探測框作為匹配對象，至此完成了粗匹配過程。

?

（三）結果中重疊匹配問題的處理

在使用相似性評價方法進行粗匹配后，會存在一些“多對一”的情況，即視角A的多個探測框（記為重疊框）同時匹配上視角B的某個探測框。這是由于在粗匹配的過程中，探測框的匹配僅以評價分數的大小來確定，并未考慮到兩個視角探測框的相對位置信息。為了解決“多對一”的情況，本文設計了兩種處理策略和一種“查驗”機制。若每個重疊框都可以找到對應的探測框，如圖4所示情況，使用策略1，通過相對位置確定各個重疊框具體對應的探測框，先確定視角A重疊框的數量，記為m，然后對視角A上每個重疊框分別在視角B上找到評價分數最接近的m個探測框，形成探測框集合Set，總共會有m個集合，Set1, Set2， …,Setm。若m個集合都相同，如圖5所示，則確定視角A的重疊框與集合Set中的探測框可以一一對應，又因為重疊框與探測框之間的相對位置關系也一致，則可借此將兩者進行對應匹配。

當集合不是完全一樣時，不能使用相對位置確定重疊框與探測框的匹配關系，此時使用策略2，即通過評價分數最值來確定重疊框的匹配對象。先統計重疊框對當前匹配框的所有評價分數，找到分數最小的重疊框作為匹配結果，對其他重疊框采用次最值的方法，以各自第二小的分數對應的框作為其匹配框。值得注意是，評價分數的值一旦大于1，則匹配往往出現錯誤，因此在統計第二小的評價分數時，一旦大于1，則舍棄當前匹配結果。

通過上述方式在一定程度上大幅提高了匹配精度，但仍存在少量“多對一”的情況，對此，本文采用“查驗”機制，對通過上述策略處理后的結果再次進行“多對一”情況的統計，針對仍出現的重疊匹配問題，列出每對匹配結果的評價分數，進行升序排列，只保留分數最小的匹配組合，其余的全部舍棄，減少因重疊匹配對后續操作的干擾。

（四）截斷原則

在粗匹配的過程中，探測框是以評價分數為紐帶找到彼此的匹配對象，但由于缺少判斷機制，在某些情況下，即使兩探測框在空間中位置差距較大，因為分數最小原則兩者仍然會形成配對，這就會對匹配結果造成較大干擾。對此，本文設計了一種截斷機制，即對每個匹配組合進行區域判斷，符合要求的保留，不符合的舍棄，如圖6所示。具體的截斷方法是，首先將視角A中探測框的左上角點G1映射到視角B上得到G2，在視角B上的G2點水平和豎直方向分別延展一定距離，若視角B的探測框左上點在G2的擴展區域里，則判斷該匹配組合符合要求，若不在G2的擴展區域里，則不符合要求，需要舍棄當前匹配組合。在水平方向設置的基礎擴展長度為視角B圖像寬度的1/3，豎直方向設置的基礎擴展長度為視角B圖像高度的1/3。由于不同類別的物品尺寸不一，物品的密集松散程度也會影響判斷，因此不能所有物品都使用同樣的擴展長度，需要根據行包內物品的類別和密集程度，乘以不同的參數θ來進行調節。

二、應用效果

為了評測所提出方法的性能，本文使用CT設備采集了513張行包的三維圖像，其中每個行包中含有2～5個目標物。評測過程中先將每個行包的三維圖像分別在視角1、視角2、視角3三個角度下進行二維圖像采集，再將三張圖像分別輸入到目標檢測模型中進行探測，最后使用本算法將三個視角的探測結果進行匹配。為了進一步了解圖像中目標物的匹配情況，本文將匹配結果進行可視化，如圖7所示，并統計匹配結果如表2所示，并以公式（11）和公式（12）分別計算匹配查全率和匹配查準率。

?

經過計算，本文所提出的算法對目標物的匹配查全率為99.77%，匹配查準率為99.08%，可以對不同視角下的目標物實現精準匹配。

三、結語

本文介紹了一種安檢圖像的匹配算法，對其工作流程，匹配原理作了詳細介紹，并應用其進行了實際測試，結果表明，該算法的應用可以解決多個視角的目標物匹配問題，能夠為CT的智能探測功能提供強有力的技術保障。預計隨著安檢CT設備使用數量的不斷增加，安檢圖像的匹配算法也即將投入到生產應用中，還會面對更多復雜的實際場景，還要不斷調整以適應環境，增加人工復核等模塊，減少因未匹配情況影響準確性的問題。