一種基于區域一圖非對稱匹配的少數民族服飾檢索方法

歐陽昭相

摘要：針對少數民族服飾具有的典型紋樣圖案和款式特征，提出一種基于區域一圖非對稱匹配的少數民族服飾圖像檢索方法，首先利用gPb-OWT-UCM算法對檢索圖像進行區域分割，然后將分割后圖像中的每個區域特征與未分割的待檢索圖像進行基于動態規劃的非對稱匹配，并通過評估匹配組的布局一致性計算少數民族服飾圖像之間的相似度，最后通過排序實現圖像檢索任務。實驗結果表明，與傳統基于外觀特征的方法相比，該方法不僅可以獲得較好的圖像檢索效果，還可以通過相似區域匹配結果呈現不同少數民族服飾獨有的風格特征，為少數民族服飾文化的數字化保護與傳承提供有效途徑。

關鍵詞：圖像匹配;圖像檢索;少數民族服飾

DOI：10.11907/rjdk.201439開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP317.4文獻標識碼：A 文章編號：1672-7800（2020）005-0227-04

0 引言

隨著計算機網絡的飛速發展以及數字信息技術、多媒體技術的廣泛應用，數字媒體資源數量的快速增長使得人們很難從大數據中獲取有效且有價值的信息。因此，圖像檢索技術成為近年來數字圖像應用領域的一個研究熱點，并已成功應用于自然圖像、醫學圖像等圖像檢索中。少數民族服飾是民族文化的重要體現之一，從計算機視覺角度分析民族服裝視覺特征，不僅可以準確描述并迅速分析民族服飾表現出的顏色、紋理、形狀等顯著特征，還可挖掘出更深層次、人類肉眼無法識別的潛在信息，幫助學者更客觀、全面、深入地進行民族服飾研究。目前，在民族服裝圖像資源檢索應用方面，隨著多媒體技術的迅速發展，少數民族服裝學術研究、藝術設計等領域的需求也在不斷擴大，但實際上在網絡龐大的數據庫中尋找適合的少數民族服飾圖像資源時，很多時候并不能得到令人滿意的結果。其原因除少數民族服飾資源相對較少外，更多的是因為與普通自然圖像視覺特征相比，少數民族服飾蘊含特征突出、色彩絢麗、紋理復雜、圖騰豐富，而傳統基于手工設計特征的檢索方法存在很大的局限性，從而給圖像檢索帶來了很大挑戰。

近年來隨著服裝網絡市場需求的不斷增長，服裝分割、檢索等方面研究得到越來越多關注，一些學者也進行了少數民族服飾圖像檢索相關研究。如申旭梅等提出一種基于顏色與邊緣方向直方圖特征的少數民族服飾檢索方法，并在其自建的包含白族、景頗族、哈尼族、苗族、布依族、佤族共6個民族的少數民族服飾圖像數據集上進行驗證。針對傳統基于全局特征圖像檢索方法的不足，趙偉麗等提出一種基于區域綜合匹配的民族服裝圖像檢索方法，通過模糊顏色直方圖對不同顏色區域提取紋理、形狀等特征，再進行區域一區域的加權匹配與檢索。但由于該方法對區域的劃分依賴于顏色信息，會出現不準確的情況，因此區域匹配的優勢并未得到體現。由于少數民族服裝包含的視覺信息更加豐富和抽象，傳統基于底層設計方法的特征表征能力與可辨別性較差，在應用中存在很大的局限性，還需探索更有效的民族服飾圖像檢索方法。

因此，本文提出一種基于區域一圖非對稱匹配的少數民族服飾圖像檢索方法，充分利用不同少數民族服飾在紋樣圖案和款式等方面表現出的顯著特征，通過評估檢索圖像分割區域與待檢索圖像之間非對稱匹配組的布局一致性，計算兩幅圖像的相似性，最終完成少數民族服飾檢索。

1 算法描述

本文首先采用gPb-OWT-UCM算法對少數民族服飾圖像進行輪廓檢測與分割，然后利用區域一圖的點匹配算法計算少數民族服飾圖像的相似性，最后通過相似度排序完成民族服飾圖像檢索。

1.1 輪廓檢測與分割

全局邊緣概率一方向分水嶺變換和超度輪廓圖（globalized Probability of boundary.Oriented Watershed Transform and UCM，gPb-OWT-UCM）算法是一種自底向上的分割方法，其中超度輪廓圖（Uhrametric Contour Map，UCM）是Arbelaez等提出的基于邊緣檢測的圖像層次分割方法。該方法自底向上進行圖像層次分割，通過多次迭代進行區域合并從而構造一種加權輪廓圖，其顯著特點是可以通過設置任何閾值產生一組閉合曲線。定義初始分割圖G=（P₀，K₀，W（K₀）），其中區域P₀為圖的節點，連接相鄰區域的邊K₀為圖的邊，相鄰區域的不相似性度量W（K₀）為邊的權重，gPb-OWT-UCM算法描述如下：

輸入：CPb檢測器生成的初始輪廓圖，OWT初始化邊權重W（K₀）。

輸出：迭代分割結果。

Stepl：選擇W（K₀）中權重最小的邊。

Step4：如果K0為空，則停止迭代;否則更新權重W（K₀），并執行Stepl。

該過程也可理解為區域樹的生成過程，葉子節點是區域P₀的初始元素，根是整幅圖像。通過區域的不相似性對邊進行排序，不斷迭代合并最相似的區域進行UCM層次分割，在每一層次分割過程中刪除當前權重最小的邊，而剩余邊緣權重都大于被刪除的邊緣權重，從而構建一個多種尺度下具有索引層次結構的輪廓圖，最終通過選取尺度得到合適的輪廓作為最佳分割結果。

1.2 區域一圖點匹配

由于圖像特征局部描述符如SIFT對部分遮擋、光照變化和雜波具有魯棒性，因此在目標識別和圖像檢索任務中經常使用這些局部特征完成點一點匹配。但在進行基于外觀的特征匹配時，如果單獨使用局部特征則容易受到噪聲影響，通常會附加一些幾何約束在初始點匹配池中選擇一致的匹配點。Kim等提出一種基于密集SIFT特征的匹配算法，根據自底向上分割結果的分組匹配對具有非參數幾何約束的一般對象進行比較，具體描述如下：

輸人：分割后的圖像I₁，未分割的待匹配圖像I₂。

輸出：兩幅圖像匹配分數s。

Stepl：提取兩幅圖像的密集SIFT特征。

Step2：將圖像I₁每個區域內的網格（grid）中心看作一個點，然后分別從縱向和橫向將這些匹配點用“字符串”形式進行串聯表示，即P_i（p₁…，p_li）。其中l_i表示第i個區域內點的個數，pk與p_k+l是相鄰點。

Step3：通過SIFT匹配為“字符串”的每個點在圖I₂中尋找候選匹配點集C：[C₁，…，C_li），其中C_k為點p_k對應的候選匹配點集。

Step4：通過動態規劃從候選匹配點集中尋找最優匹配M*={m₁，…，m₂}，其中m_k∈C_k。

Step5：假設{（p₁，m₁），…，（p_n，m_n）}為所有n個點的匹配點集合，定義圖I₁、圖I₂的匹配分數s為：

其中，函數G（·）表示幾何形變項，A（·）表示外觀相似性項，O（·）表示序約束項，D（·）表示位移約束項，且每一項都設置了不同權重值。

在匹配過程中，首先尋找分割圖像上每個區域的點與未分割圖像內點之間的對應組，然后通過動態規劃目標求解有效增強每個區域一圖像匹配組的布局一致性，最后通過評估對應組并集的外觀和幾何一致性計算兩幅圖匹配程度。該方法是一種非對稱匹配，其允許不同區域內匹配之間的變形，尤其在匹配非剛性對象的每個部分或計算多對一匹配時具有更大的靈活性。

1.3 相似度計算與圖像檢索

通過上述步驟即可得到兩幅圖的匹配分數，分數越高，表示兩幅圖像越相似。通過計算數據集中所有兩兩圖像之間的匹配分數即可得到一個相似矩陣S，如式（5）所示。

其中，s_i，j代表第i幅查詢圖像與數據集中第j幅圖像之間的相似度，顯然S是一個對稱矩陣，其主對角線上的元素值均為1。

2 實驗結果與分析

2.1 實驗數據說明

本實驗采用的少數民族服飾數據集共有600幅圖像，包含白族、景頗族、哈尼族、苗族、布依族、佤族6個民族各100幅服飾圖像。該數據集圖像大多來源于網絡，圖像分辨率較低，圖像像素為128x96或96x128。大部分服飾圖像中有多個服飾對象，或具有復雜背景。

2.2 評價指標

將本實驗數據集中每一幅圖像都作為查詢圖像進行檢索，并根據相似度排序返回排名靠前的若干相關圖像，然后通過計算平均查準率（Average Precision，AP）和平均查全率（Average Recall，AR）評價算法檢索性能。AP和AR計算方法如式（6）、式（7）所示。

其中，N為查詢圖個數，P_i、P_i分別為第i幅查詢圖像的檢索查準率和查全率，N_k為檢索返回前k個圖像中的正確圖像個數，N_A為檢索返回圖像個數，N_i為第i幅圖像在數據集中相關圖像個數。

2.3 實驗設置

本實驗中圖像輪廓檢測與分割采用文獻[11]的算法代碼，參數設置相同。在提取SIFT特征時，采樣步長nstep設置為6，采樣grid尺度設置為4個尺度[4，6，8，10];在動態規劃代價函數計算過程中，參數ω_g，ω_a，ω_o，ω_d分別設置為1.0、1.25、1.5、4.0。

2.4 實驗結果與分析

為驗證本文方法在少數民族服飾圖像檢索中的性能，實驗從兩方面進行對比與分析。

2.4.1 圖像匹配效果

本文采用的區域一圖匹配算法首先需要進行圖像輪廓檢測與分割，然后進行匹配。下面給出兩組實驗，如圖l、圖2所示。

從圖l中第一行匹配結果可以看到，該算法對白族代表性帽飾中的元素都能進行較好的匹配;第二行是多個對象區域的匹配效果，進一步說明了區域一圖非對稱匹配不是僅局限于區域一區域的匹配，而是可以在被匹配圖像中任何區域進行匹配。圖2為采用區域一圖非對稱匹配與經典SIFT算法匹配效果對比。本組實驗中匹配圖像是一幅具有復雜背景的服飾圖像，第一行匹配為本文采用的區域一圖非對稱匹配效果，可以看到對于服飾上部分帽飾穗子以及腰間、袖口、前襟、褲腿上的花紋圖案都能進行很好的匹配，相比之下，由于受到復雜背景的影響，SIFT算法匹配效果不是很理想。

通過以上兩組實驗可以得出，由于基于區域一圖的非對稱匹配通過UCM層次分割過濾了背景等干擾因素，在匹配過程中考慮了外觀相似性和幾何一致性，同時允許不同區域內匹配之間的變形，因此在少數民族服飾匹配中具有顯著優勢。

2.4.2 圖像檢索性能

本組實驗對不同方法的檢索性能進行分析與對比。圖3為當檢索返回的圖像數量從l增加到100時的平均檢索準確率變化曲線，可以看到隨著檢索返回圖像數量不斷增加，平均檢索準確率逐漸下降，從返回l幅時的100%下降至返回100幅時的約30%，其原因是當檢索返回圖像數量增多時，檢索難度隨之增加。同時也看到由于服飾款式及顏色多樣，以及圖像分辨率低、背景復雜等原因，少數民族服飾檢索存在巨大的挑戰。

將不同方法在檢索性能上的表現進行對比，檢索返回前12幅圖像的檢索準確率與查全率，比較結果如表l所示。

其中，HOG、LBP、LDP分別為方向梯度直方圖、局部二進制模式和局部方向模式，均為基于紋理、方向的統計特征，相比之下，LDP特征描述了圖像紋理和形狀特征，具有較強的特征辨別能力。從對比結果可以看出，LDP準確率稍高于HOG和LBP，但這些基于外觀統計特征的方法易受到復雜背景等于擾因素影響，而本文方法通過服飾分割和非對稱匹配更關注于服飾部分特征，因此得到了較高的平均查準率和平均查全率。圖4展示了檢索返回的前10幅圖像結果示例，其中每一行第一幅圖像為相應查詢圖像，方框為錯誤結果。從檢索結果可以看出，本文方法對于分辨率較低的少數民族服飾圖像，在具有復雜背景、多服飾對象、部分偏轉等情況下大多仍表現較好。

3 結語

本文提出一種基于圖像匹配的少數民族服飾圖像檢索方法，該方法首先對檢索圖像進行區域分割，然后與圖像集中的待檢索圖像進行基于區域一圖的非對稱匹配，最后通過評估匹配結果計算少數民族服飾圖像之間的相似度，從而完成檢索任務。實驗結果表明，本文方法能夠獲得較好的檢索效果，尤其對于具有圖騰圖案或獨特款式等顯著特征的少數民族服飾檢索具有一定優勢。然而，由于數據集圖像分辨率低且存在復雜背景，還需結合少數民族服飾顏色和紋理等特征以進一步提高檢索準確率。