基于模板匹配的醫用內窺鏡影像目標識別算法

張志陽　宋成利　李良　李良敏

摘 要：為了減輕醫務人員勞動強度，同時為患者提供有效的輔助診斷信息，將自動識別追蹤技術應用于醫用內窺鏡中，以輔助外科醫生診斷與治療，并為后續持鏡機器人及手術機器人研發打下基礎。對比模板匹配和邊緣檢測匹配兩種算法之后，發現模板匹配方法容易受到光照影響，將兩者綜合后的算法對光照和像素遷移有很強的抗干擾能力，適合于醫用內窺鏡光照條件不足的應用環境。此外，引入的CamShift 算法以顏色特征作為第二匹配依據，可應對邊緣不明顯的情況。實驗中分別對手術器械和膽囊進行模擬識別跟蹤，實驗結果表明，在該運動目標檢測跟蹤算法下，視頻畫面的幀速率穩定在30fps，不會出現卡頓情況，識別準確率達到了95%，并且在追蹤過程中不會丟失目標。該算法原理簡單、機理清晰，在實時性、魯棒性等方面均可滿足臨床需求。

關鍵詞：醫用內窺鏡;目標識別;模板匹配;邊緣檢測;連續自適應均值漂移

DOI：10. 11907/rjdk. 191616

中圖分類號：TP317.4?? 文獻標識碼：A??????????????? 文章編號：1672-7800（2020）003-0234-04

Target Recognition Algorithms for Medical Endoscope Image

Based on Template Matching

ZHANG Zhi-yang， SONG Cheng-li， LI Liang， LI Liang-min

（School of Medical Instrument and Food Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China）

Abstract： In order to reduce the work intensity of medical staff and provide effective auxiliary diagnostic information for patients， automatic recognition and tracking technology is applied to medical endoscopy to assist surgeons in diagnosis and treatment， which lays a foundation for the follow-up research and development of mirror-holding robots and surgical robots. After comparing the two algorithms of template matching and edge detection matching， we find that the template matching method is susceptible to illumination. The combined algorithm has strong anti-interference ability to illumination and pixel migration， which is suitable for the application environment of medical endoscopes with insufficient illumination conditions. In addition， the CamShift algorithm is introduced to deal with the situation that the edge is not obvious， taking the color feature as the second matching basis. Simulated recognition， tracking of surgical instruments and gallbladder were carried out in the experiment. Experiment result have shown that the moving target detection and tracking algorithm has a stable frame rate of 30 frames per second， and does not produce a pause. The recognition accuracy was 95%， and the target was not lost in the process of tracking， thus we can draw the conclusion that the principle of the algorithm is simple and the mechanism is clear. It can meet the clinical needs in real-time and robustness.

Key Words： medical endoscope; target recognition; template matching; edge detection; CamShift

0 引言

內窺鏡是目前醫院中常用的一種醫療器械，廣泛應用于普外科、骨科、耳鼻喉科、消化內科、泌尿外科、婦科等科室。其通過人體天然孔道或人為小切口進入人體，可以直接觀察人體器官和組織狀態，被稱作醫生在微創介入手術中的眼睛[1]。內鏡技術的出現是醫學技術發展的一個里程碑，對該技術的應用可以大大減少對患者身體的損害，降低手術過程中的風險，并且大幅縮短患者術后恢復時間，在疾病診斷與治療方面具有明顯優勢[2-3]。

自1987年法國醫生Philippe Mouret利用內窺鏡實施首例膽囊切除術至今，微創外科手術及內窺鏡技術發展迅速[4]?？v觀醫用內窺鏡發展歷程與技術現狀，成像鏡頭、微型圖像傳感器、采集與處理電路等關鍵技術已日趨成熟，因此圖像后處理技術成為目前內窺鏡技術的研究重點。圖像后處理技術是指利用圖像處理算法在軟件層面對內窺鏡生成的視頻進行處理，從而得到干凈、清晰且具有特征信息的圖像。隨著計算機技術，尤其是機器視覺與人工智能技術的發展，各種先進的圖像處理技術不斷向醫學領域滲透，醫用內窺鏡的電子化、小型化、集成化及智能化設計成為未來發展的必然趨勢[5]。如Hafner等[6]通過二維離散傅里葉變換獲得腸道內窺鏡圖像的頻域表達后，再通過篩選基于傅里葉級數矩陣的特征，以更好地區分不同結腸癌種類;Charisis 等[7]將胃部內窺鏡圖像進行曲波變換后，再利用遺傳算法有效提取病變部位相關形態學特征;Huang 等[8]在RGB和HSV顏色空間中分別提取SIFT算子與CCH算子表征食管粘膜;Zhang 等[9]為了進行腸息肉檢測，利用CNN的特征提取能力，將訓練好的CNN網絡中生成的特征圖向量化后，再交由SVM分類器進行分類。

將醫學圖像處理技術中復雜的處理算法應用于視頻中會影響圖像處理速度，表現為視頻卡頓，不適用于實時的手術診斷與治療過程，而CNN訓練往往需要較大的數據集，收集如此大數量的內窺鏡圖像是十分困難的。本文將計算機視覺中的圖像檢測與追蹤技術應用于內窺鏡成像系統中，希望通過對組織、器官、器械、損傷、出血等目標的檢測與跟蹤，輔助醫生診斷，幫助臨床醫生提高手術效率、降低手術風險。同時可將該技術與機器人技術相結合，研發出全自動持鏡機器人和手術機器人，由機器人替代外科醫生進行內窺鏡和手術器械操作。借助機器人動作精確、可靠性高的優點，可使微創介入手術更加安全、準確與方便，大大減輕醫務人員勞動強度。考慮到醫用內窺鏡的特殊工作場景，成像系統檢測跟蹤算法需要滿足實時性、準確性、魯棒性等要求。本文采用目標檢測中最簡單的模板匹配算法，并針對內窺鏡工作環境對其加以改進，使算法簡單、機理清晰、實時性強。實驗結果表明，該算法識別準確率可達到95%，并且比較穩定，不會出現跟蹤丟失的情況。

1 材料與方法

1.1 CMOS圖像傳感器

目前市場上的高清內窺鏡視頻圖像采集部分傳感器大都是電荷耦合器件（Charge Coupled Device，CCD），雖然具有信噪比高、圖像質量好等優點，但是制造成本高，且功耗較大[10]。CMOS圖像傳感器雖然在剛開發出來時圖像性能不佳，但是隨著相關技術的不斷發展，CMOS傳感器的圖像性能正逐漸接近CCD傳感器[11]。此外，由于CMOS傳感器具有功耗與制造成本低、集成度高等優點，CMOS圖像傳感器比CCD圖像傳感器具有更高的性價比，使其替代CCD圖像傳感器成為可能[12]。

表1對比了CCD和CMOS圖像傳感器的部分性能指標，隨著CMOS圖像傳感器制作工藝的發展，其成像質量差的缺點逐漸得到改善，已能滿足醫用內窺鏡對圖像質量的要求。因此，本文采用OV9734芯片作為圖像傳感器，可以大幅降低成本。此外，應用氙燈照明的方法成本較高，且使用過程中光纖易折斷[3]，所以本文采用LED光源。隨著高亮LED 技術的發展，LED 合光后表現出優良的特性，使用LED 作為內窺鏡照明已成為可能。

1.2 模板匹配原理

在一幅圖像中查找特定目標最普遍且最簡單的方法之一即為模板匹配。該方法原理是按照一定順序遍歷圖像中的每一個位置，計算目標與模板相似度，當相似度達到設定閾值時，即認為找到了目標?；谠摲椒ú⒔Y合合適的循環算法，即可實現對目標的檢測與跟蹤。

一般來說，評價目標與模板相似度的方法有6種：平方差匹配法、歸一化平方差匹配法、相關匹配法、歸一化相關匹配法、相關系數匹配法和歸一化相關系數匹配法[13]。算法復雜度越高，匹配結果也越精確。對以上方法進行測試實驗后，本文選用歸一化相關匹配法，可同時兼顧速度和精度。該方法將模板均值歸一化值與圖像均值歸一化值進行匹配，1表示完全匹配，-1表示不匹配，0表示不相關。如果用T表示模板圖像，I表示待匹配圖像， R表示匹配結果，則其滿足如下關系式[14]：

1.3 邊緣檢測匹配原理

模板匹配算法是以像素為基礎進行匹配的，容易受到光照影響[15]?？紤]到內窺鏡的工作環境缺乏充足的光照條件，所以本文將圖像邊緣梯度引入模板匹配算法中，其對圖像光照與像素遷移都有很強的抗干擾能力，可以抵消目標圖像上出現的微小像素遷移的影響，比較適合于醫用內窺鏡工作環境。

該算法主要基于圖像梯度，實現基于梯度級別的歸一化交叉相關（Normalization cross correlation，NCC）模板匹配。NCC是一種基于統計學計算兩組樣本數據相關性的算法，其取值范圍為[-1， 1]。對于圖像而言，每個像素可以看作RGB的數值，圖像即可看作一個樣本數據的集合。當NCC值為1時，說明相關性非常高，意味著其具有與另一個樣本數據相匹配的子集。其數學公式表示如下[16]：

式中f表示像素點灰度值，μ表示窗口所有像素平均值，σ表示標準方差假設，t表示模板像素值，n表示模板像素總數。

獲取邊緣圖像的方法主要為Canny邊緣檢測算法，圖像邊緣集中了圖像大部分信息，是圖像分割依賴的重要特征[17]。圖像邊緣梯度計算是指通過Sobel梯度算子得到dx、dy以及 magnitude（dxy），然后根據圖像梯度信息進行匹配。使用邊緣特征作為模板匹配的基礎，可以大大增加模板匹配的抗干擾性和成功率。

如果以A代表原始圖像，Gx、Gy分別代表經橫向及縱向邊緣檢測的圖像，則Sobel梯度算子數學公式表示如下：

1.4 改進算法實現目標識別與追蹤

邊緣檢測模板匹配對圖像光照有很強的抗干擾能力，可以抵消目標圖像上出現的像素微小遷移，但醫用內窺鏡手術環境下某些損傷組織或器官目標的邊緣特征并不太明顯。在該情況下，本文引入連續自適應均值漂移（Continuously Adaptive Mean-SHIFT，CamShift）算法，將顏色特征加入匹配圖像中，使匹配結果更加準確。

CamShift算法通過解析HSV顏色空間下目標區域H分量特征信息實現目標識別與跟蹤，可使目標具有較低的形變敏感度。該算法由于具有實時性好、計算量小和復雜度低等優點，在運動目標跟蹤領域得到了廣泛應用[18]。但其也存在一定不足，如在復雜場景或背景中存在色彩結構與目標類似的情況下，該算法會存在一定程度的跟蹤誤差，甚至出現跟蹤失敗的情況[19]。因此，將CamShift算法與模板匹配算法相結合，可彌補各自的不足。算法流程如圖1所示。

2 實驗結果

2.1 OpenCV簡介

本文中所有算法均使用OpenCV工具集加以實現。OpenCV （Open Source Computer Vision Library）是由一系列C函數和C++類構成的計算機視覺庫，實現了圖像處理和計算機視覺方面的很多通用算法，可以非常方便地嵌入到C或C++開發平臺中，并大幅縮短應用程序開發周期，降低代碼編寫難度[20]。

2.2 傳統模板匹配與邊緣檢測模板匹配

采用不同算法在正常狀態和暗光狀態下進行實驗，識別效果對比如圖2所示。

驗證算法有效性后，本文再利用腹腔手術訓練平臺進行手術器械的識別跟蹤實驗，并選擇具有比較穩定邊緣和顏色特征的手術抓鉗作為實驗對象。

2.3 目標檢測與追蹤

目標檢測與追蹤部分以微創手術抓鉗器械前端為檢測目標，在腹腔鏡訓練器實驗平臺上進行測試，觀察追蹤效果。隨后將兩把器械進行多次接觸，追蹤點可以在器械之間相互傳遞，以實時轉換追蹤目標，適用于器械切換的場合。實驗中器械追蹤與傳遞過程如圖3所示。經過20次重復實驗，視頻畫面的幀速率穩定在30fps，在整個過程中不會感覺到明顯卡頓，對抓鉗識別的準確率達到了95%，并且在追蹤過程中不會丟失目標，在兩把器械之間的目標轉換也可以順利完成。該功能后期還可實現對持鏡機器人的自動控制，保持手術器械在視野中央，以避免視野丟失造成的不便。

為了驗證算法在真實手術環境下的表現，將一段腹腔鏡下的膽囊摘除手術視頻導入軟件中，標記膽囊為追蹤目標，觀察手術過程中的實時追蹤效果。實驗結果表明，在整個手術過程中，對膽囊的識別追蹤效果良好，器械的遮擋和干擾不會造成追蹤目標脫離，具有較好的穩定性。實驗過程如圖4所示。

實驗結果顯示，邊緣檢測模板匹配算法在較暗的光照條件下依然有良好的識別準確性，可適應內窺鏡工作環境，并且改進算法能夠較好地識別與追蹤規定目標。

3 結語

本文對傳統目標識別檢測算法進行改進，提出一種適用于醫用內窺鏡的圖像處理算法。該算法在實時性、魯棒性等方面均可滿足臨床需求，且算法簡單、機理清晰，在目標與識別追蹤方面取得了較好效果。

盡管本研究在實驗室條件下實現了預期功能，但在實際臨床應用中會面臨更加復雜的工作環境，所以未來工作將從以下兩方面展開：本文只研究了對單個目標物體的跟蹤情況，尚未涉及對多目標的識別跟蹤，然而多目標識別跟蹤在臨床上有很重要的應用價值，因此未來需要對多目標物體跟蹤作進一步研究[21];本文設計的目標跟蹤系統在結構上還有待完善，包括對運行邏輯系統進行優化，以及增加并行處理等，從而使系統跟蹤效率進一步提高。

參考文獻：

[1]孟祥峰，李寧，劉艷珍，等. 光學內窺鏡系統色還原性測試方法研究[J]. 中國醫療設備， 2016（12）：104-106，112.

[2]薛林. 醫用3D內窺鏡系統的應用現狀與展望[J]. 電視技術，2013，37（z2）：457-459.

[3]陳慶. 醫用內窺鏡關鍵技術的研究[J]. 中國醫療設備，2015，30（4）：68-70.

[4]馮大偉， 姜會林， 張光偉. 基于雙目立體視覺的醫用三維電子內窺鏡系統[J]. 長春理工大學學報：自然科學版， 2012， 35（1）：38-42.

[5]BU X Z， LI G J， YANG B， et al. Fast unwrapping of panoramic annular image with center deviation[J]. Optics and Precision Engineering， 2012， 20（9）：2103-2109.

[6]HAFNER M，BRUNAUER L，PAYER H，et al.? Computer-aided classification of zoom-endoscopical images using Fourier filters.[J]. IEEE Transactions on Information Technology in Biomedicine， 2010， 14（4）：958-970.

[7]CHARISIS V S，HADJILEONTIADIS L J. Use of adaptive hybrid filtering process in Crohn s disease lesion detection from real capsule endoscopy videos[J]. Healthcare Technology Letters，2016， 3（1）：27-33.

[8]HUANG C R， CHEN Y T， CHEN W Y， et al. Gastroesophageal reflux disease diagnosis using hierarchical heterogeneous descriptor fusion support vector machine[J]. IEEE Transactions on Biomedical Engineering， 2015，63（3）： 588-599.

[9]ZHANG R， ZHENG Y，MAK T W C，et al. Automatic detection and classification of colorectal polyps by transferring low-level CNN features from nonmedical domain[J]. IEEE Journal of Biomedical and Health Informatics， 2017， 21（1）：41-47.

[10]GEE T， DELMAS P， JOLY S， et al. A dedicated lightweight binocular stereo system for real-time depth-map generation[C].Design & Architectures for Signal & Image Processing. IEEE， 2017.

[11]ZHOU G， JIANG L， HUANG J， et al. FPGA-based on-board geometric calibration for linear CCD array sensors[J]. Sensors， 2018， 18（6）：1794.

[12]AOKI H，YAMASHITA H，MORI T， et al. Ultrahigh sensitivity endoscopic camera using a new CMOS image sensor[J]. Surgical Endoscopy， 2014， 28（11）：3240-3248.

[13]田軍委，牛秀娟，趙彥飛. 基于動態模板匹配的運動目標識別[J]. 機械與電子， 2017， 35（1）：77-80.

[14]劉洋洋，嵇啟春. 一種改進的模板匹配的數字識別算法[J]. 工業控制計算機， 2010， 23（5）：76-77.

[15]符亞彬. 基于Logo標志檢測的暴恐視頻識別系統的設計與實現[D]. 北京：北京交通大學，2016.

[16]崔政，李壯. 兩種改進的模板匹配識別算法[J]. 計算機工程與設計，2006， 27（6）：1083-1085.

[17]趙巨波，孫華燕，杜巍. 一種圖像邊緣特征提取算法[J]. 光學精密工程，2000， 8（4）：325-327.

[18]任世卿，王思思，薛桐. 一種避免遮擋物影響的運動目標檢測方法[J]. 電腦知識與技術， 2015， 11（17）：160-162.

[19]張辰，彭玉旭. 基于HSV非均勻量化的CAMshift目標跟蹤算法[J]. 智能計算機與應用， 2017， 7（3）：21-25.

[20]堯燕. 基于OpenCV多源圖像的整合研究[J]. 湖南工程學院學報：自然科學版， 2015， 25（2）：59-61.

[21]劉闖. 基于特征融合和Mean Shift的多目標跟蹤方法研究[D].蘇州：蘇州大學， 2009.

（責任編輯：黃 ?。?/p>

收稿日期：2019-04-28

基金項目：國家自然科學基金重點項目（51735003）;上海市科研計劃項目（18441900200）

作者簡介：張志陽（1991-），男，上海理工大學醫療器械與食品工程學院碩士研究生，研究方向為醫學圖像處理技術;宋成利（1968-），男，博士，上海理工大學醫療器械與食品工程學院教授、博士生導師，研究方向為微創醫療器械、智能材料和生物力學;李良（1995-），男，上海理工大學醫療器械與食品工程學院碩士研究生，研究方向為醫學圖像處理技術;李良敏（1992-），男，上海理工大學醫療器械與食品工程學院碩士研究生，研究方向為機器視覺。本文通訊作者：宋成利。