基于極值曲率和相關圖的信息檢索技術

于彬 張皓翔 徐明輝 張高青 王金鵬

摘要：隨著機器視覺的發展，信息檢索作為機器學習中的重要課題，各個領域發揮了至關重要的作用，基于圖像內容的信息檢索技術通過對圖像進行特征提取，然后依靠度量的計算方式來實現最終結果。本文主要研究的是基于極值曲率和相關圖圖像信息檢索方法。對圖像的內在曲率特征進行了研究，并融合顏色相關圖提高魯棒性，最后提出了基于極值曲率和相關圖檢索算法。

關鍵詞： 極值曲率? 信息檢索? 相關圖? 內在曲率

中圖分類號：TP391.41

Abstract： With the development of machine vision， information retrieval， as an important subject in machine learning， has played a vital role in various fields. The information retrieval technology based on image content extracts the features of the image， and then relies on the calculation method of measurement to achieve the final result. This article mainly studies image information retrieval methods based on extreme curvatures and correlation graph. The inherent curvature characteristics of the image are studied， and the color correlation map is integrated to improve the robustness. Finally， a retrieval algorithm based on extreme curvatures and correlation map is proposed.

Key Words： Extreme curvatures; Information retrieval; Correlation graph; Intrinsic curvature

一直以來，信息檢索技術都活躍在工業及學術界研究舞臺，如相似物推薦系統，圖書檢索系統等都采用了圖像檢索的相關技術。特別信息化、網絡化的今天，各種規模龐大的數字圖像每天都在更新，因此對數字圖像的檢索需求也越來越大[1-3]。圖像檢索技術首先需要獲取圖像信息，進而進行特征提取，隨后采用相似度匹配機制，最后返回查詢結果。圖像檢索技術目前有兩種：一種是基于文本的圖像檢索TBIR（Text-based Image Retrieval）;另一種是基于內容的圖像檢索CBIR（Content-based Image Retrieval）。[4-10]TBIR是利用文本描述的方式描述圖像的特征來進行檢索，如繪畫作品的作者、年代、流派、尺寸等。

目前，圖像檢索技術主要研究方向在于精度的提升，以及在保證精度的同時提高檢索效率兩個方面。由于影響檢索質量的外部條件千變萬化，檢索的效果也會直接影響使用者對查詢結果的判斷，如醫學圖像的檢索質量影響醫生對病情診斷[11];在數字網絡推薦系統中，推薦系統響應速度同樣也是不可忽略的重要因素，系統的響應速度直接影響用戶的使用體驗。因此，在滿足精度的同時，保證檢索效率是本文研究的重點。本文提出了一種融合極值曲率及相關圖的檢索方法，該方法僅提取圖像曲率的極值部分，摒棄冗余極值，提高算法的提取效率，同時結合圖像顏色特征進一步改善算法魯棒性。

1.相關工作

2018年，Pavithra[12]等人將基于LBP的方法和基于顏色直方圖的方法相結合來提取圖像的特征信息進行檢索，2019年，Ahmed[13]提出了一種基于詞袋的圖像檢索方法，該方法通過將局部圖像形狀特征和顏色空間信息進行特征融合以提高其在復雜環境下的魯棒性。基于以上靈感，本文提出了融合極值曲率及相關圖的檢索方法，該方法僅提取極值曲率，保證算法的高效性，另外，由于圖像的顏色屬性是表達圖像內在的直觀性屬性，提取該屬性作為圖像的特征表達可改善圖像檢索魯棒性。

2.顏色相關圖

顏色相關圖的優點是它包含了顏色的空間相關性，而且如果選擇的對象是局部的，它可用于描述顏色的局部空間相關性的全局[14]。設置兩種顏色之間的距離為，那我們將生成這樣的一個直方圖：它的的個數為的平方（顏色的組合數目），對于每個的大小為：

3.極值曲率計算

圖像中所有像素點處的主曲率信息可以通過計算海森矩陣的特征值來得到，海森矩陣是一個多元函數的二階偏導數構成的方陣。給定一個灰度圖像，在像素點（x，y）處的Hessian矩陣如下式：

4.特征融合

顏色信息屬于全局特征，它直觀地反映了圖像區域的表面性質，圖像表面的極值曲率信息屬于圖像的紋理信息。本文將顏色信息和紋理信息進行融合以得到更加魯棒的圖像檢索結果。

5.實驗

為了對提出的圖像檢索算法性能進行測試和評估，并將測試結果可視化，數據庫中采用的度量方法為歐幾里得距離。檢索結果如圖1所示，圖中上下部分分別為查詢圖像及查詢結果。

6.結論

本文提出了一種基于極值曲率信息和顏色信息的信息檢索算法。構造海森矩陣以提取圖像的偏導數，并在偏導數的基礎上利用行列式以及跡提取曲率信息，進一步地，提取主曲率信息。使得算法同時具有圖像的宏觀信息以及微觀信息。將極值曲率與顏色相關圖進行串聯，提高算法魯棒性。在公開數據庫進行了測試，顯出了較好的結果。

參考文獻

[1]張明霞，徐金東.數字圖像檢索研究進展概述[J].圖書館工作與研究，2011（10）：34-37.

[2]徐沛華.淺談數字圖像檢索技術的應用現狀與未來展望[J].數碼設計（下），2019（1）：207-208.

[3]徐倩.車牌識別中去噪與邊緣檢測算法的研究[D].湖南：湖南大學，2013.

[4]劉麗萍.顏色描述符提取算法在圖像檢索算法中的應用[J].科技資訊，2015，13（8）：21.

[5]楊紅菊，陳庚峰.基于卷積神經網絡約束編碼的圖像檢索方法[J].山西大學學報：自然科學版，2020，43（2）：280-286.

[6]龍春琳.基于顏色信息熵的圖像檢索技術研究[J].貴州廣播電視大學學報，2013（4）：67-71.

[7]Jia B，Meng B，Zhang W，et al.Query Rewriting and Semantic Annotation in Semantic-Based Image Retrieval under Heterogeneous Ontologies of Big Data[J].Traitement du Signal： signal image parole，2020，37（1）：101-105.

[8]Ge Y， Yang Z ， Huang Z ， et al. A multi-level feature fusion method based on pooling and similarity for HRRS image retrieval[J]. Remote Sensing Letters， 2021， 12（11）：1090-1099.

[9]Zheng Z， Zhong Z. Low Dimensional Discriminative Representation of Fully Connected Layer Features Using Extended LargeVis Method for High-Resolution Remote Sensing Image Retrieval[J]. Sensors，2020，20（17）：4718.

[10]Pavithra L K，Sharmila T S.A new multi-level radial difference encoded pattern for image classification and retrieval[J]. Multidimensional Systems and Signal Processing， 2020， 31（3）：1411–1433 .

[11]王梓琪.基于內容的圖像檢索系統設計與實現[D].哈爾濱：黑龍江大學，2019.

[12]Pavithra L K，Sharmila T S. An efficient framework for image retrieval using color， texture and edge features[J]. Computers and Electrical Engineering，2018，70：580-593. DOI：10.1016/j.compeleceng.2017.08.030.

[13]AHMED， KHAWAJA TEHSEEN， UMMESAFI， SHAHIDA， IQBAL， AMJAD. Content based image retrieval using image features information fusion[J]. Information Fusion，2019，51：76-99. DOI：10.1016/j.inffus.2018.11.004.

[14]Ashwini V. Malviya，Siddharth A. Ladhake. Pixel Based Image Forensic Technique for Copy-move Forgery Detection Using Auto Color Correlogram[J]. Procedia Computer Science，2016，79：383-390.

3858500338238