基于專利文獻的膠囊內(nèi)窺鏡圖像診斷技術(shù)進展

陳淑珍

摘? 要： 膠囊內(nèi)窺鏡所拍攝的圖像通常由醫(yī)生進行閱片獲得診斷結(jié)果，為了便于醫(yī)生診斷，對膠囊內(nèi)窺鏡拍攝的圖像進行處理以輔助診斷具有重要意義。為了分析膠囊內(nèi)窺鏡圖像診斷技術(shù)的發(fā)展現(xiàn)狀，本文首先分析了膠囊內(nèi)窺鏡領(lǐng)域全球?qū)＠暾埲朔植迹M而選取全球?qū)＠暾埩孔畲蟮纳暾埲俗鳛榉治鰧ο螅瑢ζ湓谀z囊內(nèi)窺鏡圖像診斷方面的技術(shù)進行深入分析。通過本文的分析，希望有助于本領(lǐng)域人員進行膠囊內(nèi)窺鏡的研制。

關(guān)鍵詞： 膠囊內(nèi)窺鏡;圖像診斷;專利分析

中圖分類號： TH776;TP39? ? 文獻標識碼： A? ? DOI：10.3969/j.issn.1003-6970.2019.07.024

【Abstract】： The images taken by capsule endoscope are usually read by doctors to obtain the diagnosis results. In order to facilitate the diagnosis， it is of great significance to process the images taken by capsule endoscope to assist the diagnosis. To analyze capsule endoscope image diagnosis technology development present situation， this article first analyzes the applicant distribution of patent applications in global， and then the applicant with the largest number of patent applications in the world was selected as the object of analysis， analyzing the technology of image diagnosis of the applicant with the largest number. The analysis in this paper is expected to be helpful to the development of capsule endoscope.

【Key words】： Capsule endoscope; Image diagnosis; Patent analysis

0? 引言

膠囊內(nèi)窺鏡，又稱無線膠囊內(nèi)窺鏡或者膠囊內(nèi)鏡，是人體消化道系統(tǒng)疾病檢查中經(jīng)常使用的檢查儀器，其基本功能是：通過使用者的口部吞咽進行消化道，無創(chuàng)地拍攝消化道系統(tǒng)（包括食道、胃、小腸、大腸等）的圖像，并且利用計算機軟件進行圖像分析，進而為醫(yī)生進行消化道系統(tǒng)疾病的診斷提供幫助。

對于膠囊內(nèi)窺鏡拍攝的一系列圖像，通常由醫(yī)生進行觀察閱片而給出診斷結(jié)果，但是拍攝的圖像通常有上萬張，醫(yī)生在閱片過程中容易疲勞且容易漏診，因而本領(lǐng)域?qū)＜覍W者對膠囊內(nèi)窺鏡的計算機圖像處理技術(shù)進行研究以輔助醫(yī)生進行診斷，為了使得本領(lǐng)域研究人員能夠更好地了解該圖像診斷技術(shù)的發(fā)展現(xiàn)狀，有必要對其進行一個深入的分析，從而有利于相關(guān)領(lǐng)域研究人員了解最新的技術(shù)發(fā)展動態(tài)，更好地把握技術(shù)創(chuàng)新突破口。

本文選用中國專利檢索系統(tǒng)文摘數(shù)據(jù)庫（CPRSABS）和德溫特世界專利索引數(shù)據(jù)庫（DWPI）數(shù)據(jù)庫作為數(shù)據(jù)來源，檢索時間截止2019年3月1日，檢索以分類號結(jié)合關(guān)鍵詞進行。對于檢索得到的結(jié)果進行逐條人工去噪、標引，并且進行了膠囊內(nèi)窺鏡全球申請人分布的分析，同時選取了申請量排名第一的申請人對在圖像診斷技術(shù)方面的專利申請進行分析，以供本領(lǐng)域技術(shù)人員參考。

1? 膠囊內(nèi)窺鏡全球申請人分布

通過對膠囊內(nèi)窺鏡領(lǐng)域的全球?qū)＠暾堖M行統(tǒng)計，得到排名前三的申請人如圖1所示，其中申請量最大的是日本的奧林巴斯公司（其申請量占據(jù)排名前三的申請人中總量的74%），其次是以色列的基文影像公司（GIVEN IMAGING）（其申請量占據(jù)排名前三的申請人中總量的17%），第三是德國的西門子公司（其申請量占據(jù)排名前三的申請人中總量的10%）。

可見，在膠囊內(nèi)窺鏡領(lǐng)域，全球申請量排名前三的申請人均是國外公司，主要技術(shù)創(chuàng)新依然掌握在國外公司手中，而日本的奧林巴斯公司從專利申請量而言占據(jù)了絕對的優(yōu)勢，遠遠超過排在后面的基文影像公司和西門子公司。基于此，本文選取奧林巴斯公司作為分析對象。

2? 奧林巴斯公司的圖像診斷技術(shù)分析

通過對奧林巴斯公司在膠囊內(nèi)窺鏡的圖像診斷技術(shù)方面的專利申請進行分析，可以發(fā)現(xiàn)其改進的技術(shù)主題主要包括三個方面：粘膜檢測、病變部位識別和重點圖像挑選，如圖2所示，其中粘膜檢測占據(jù)35%、病變部位識別占據(jù)43%、重點圖像挑選占據(jù)22%，可見更多的改進在于如何識別病變部位。下面針對各個技術(shù)主題選擇一些重點專利申請作簡要介紹。

2.1? 粘膜檢測

早在2004年，奧林巴斯公司就開始了粘膜檢測的研究，JP2006166939A[1]通過判斷采集的圖像數(shù)據(jù)的R、G、B濃度值，進行粘膜邊界的檢測，進而判斷是否存在不同性狀的粘膜，從而用于判斷是否存在巴瑞特（Barrett）粘膜。之后，CN101150977A[2]及CN101966071A[3]中，對膠囊內(nèi)窺鏡拍攝到的圖像，根據(jù)像素的色調(diào)進行粘膜區(qū)域和非粘膜區(qū)域的區(qū)分。JP2012115342A[4]先計算圖像的紋理分量，進而根據(jù)該紋理分量判別是否粘膜區(qū)域。

隨著技術(shù)的發(fā)展，奧林巴斯公司開始對粘膜檢測技術(shù)進一步改進，CN102697446A[5]根據(jù)圖像的各個像素的特征量，判定殘渣候選區(qū)域，進而識別圖像中包含的結(jié)構(gòu)邊緣，根據(jù)結(jié)構(gòu)邊緣與殘渣候選區(qū)域的相對位置關(guān)系判斷殘渣候選區(qū)域是否粘膜區(qū)域;US2010124365A1[6]對圖像的每個像素的顏色特征量進行聚類分析，進而劃分出粘膜與管腔內(nèi)容納物之間的邊界;JP2010187756A[7]計算圖像的色調(diào)和飽和度構(gòu)成的顏色平面，并在該平面上進行聚類分析從而判斷粘膜區(qū)域。

由此可以發(fā)現(xiàn)，奧林巴斯公司對粘膜的檢測經(jīng)歷了簡單的基于圖像顏色、紋理的處理，發(fā)展對針對顏色、色調(diào)、結(jié)構(gòu)特征等特征量作進一步分析，進而更準確地判斷粘膜區(qū)域的發(fā)展階段。

2.2? 病變部位識別

病變部位識別是奧林巴斯公司在對膠囊內(nèi)窺鏡的圖像診斷技術(shù)中研究最多的方面，其又可以分為病變部位的直接識別以及基于異常候選區(qū)域的病變部位識別。

2.2.1? 病變部位的直接識別

奧林巴斯公司對病變部位的識別，早期主要根據(jù)圖像的色彩、輪廓、紋理、色調(diào)等來識別病變部位：

CN101170940A[8]根據(jù)圖像的各像素所表示的色彩信息、輪廓形狀、紋理、濃度梯度等來識別規(guī)定的特征并檢測特征圖像區(qū)域，從而用于識別是否存在臟器的出血、形狀異常等病變。CN101150977A[2]及CN101966071A[3]中根據(jù)圖像的綠色成分的濃度值，在粘膜區(qū)域和非粘膜區(qū)域中檢測出具有邊緣的區(qū)域;接著，根據(jù)圖像的紅色成分的濃度值，判定具有邊緣的區(qū)域是否為包含出血部位的區(qū)域，并將包含該出血部位的區(qū)域作為懷疑存在病變的區(qū)域。WO2006129430A1[9]中，根據(jù)圖像的顏色信號來計算色調(diào)，并基于該色調(diào)判斷不同圖像區(qū)域之間的差別，從而識別出包括出血區(qū)的部位。CN101116608A[10]中，不僅根據(jù)圖像的顏色信息檢測出血部位，還附加病變標記，并且可以根據(jù)對應(yīng)的病變顏色來顯示病變標記。

隨著技術(shù)的發(fā)展，奧林巴斯公司對圖像病變部位的識別也更加準確化：CN102737388A[11]根據(jù)圖像的像素值進行近似面的選擇，并且根據(jù)該近似面上的值檢測異常部位。JP2012238041A[12]根據(jù)圖像內(nèi)的邊緣信息，將圖像分割為分別包含多個像素的多個小區(qū)域，并且估計多個小區(qū)域分別歸屬于作為檢測對象的特定區(qū)域的概率即歸屬概率，以及計算相互相鄰的小區(qū)域?qū)儆谔囟▍^(qū)域及非特定區(qū)域內(nèi)的相同區(qū)域的程度的連結(jié)強度，最后根據(jù)歸屬概率及連結(jié)強度來檢測病變區(qū)域。

2.2.2? 基于異常候選區(qū)域的病變部位識別

基于異常候選區(qū)域的病變部位的識別，即先對膠囊內(nèi)窺鏡獲得的圖像進行處理，識別出異常部位所在的候選區(qū)域，進而在該候選區(qū)域中再通過不同的方法查找病變部位。

這種識別方式在早期并不存在，隨著技術(shù)的發(fā)展，從2008年開始，奧林巴斯公司申請了多件異常候選區(qū)域識別的專利申請：

JP2009297450A[13]的專利申請，其中計算圖像的像素值，對其梯度變化進行建模，從而識別出異常部位的候選區(qū)域。CN102056530A[14]通過計算圖像不同區(qū)域的光流場，并根據(jù)光流場的結(jié)果比較來檢測異常候選區(qū)域。CN102254320A[15]和CN102376091A[16]中計算圖像的像素值的梯度信息，并根據(jù)該梯度信息生成符合條件“區(qū)域內(nèi)部不包含梯度強度為預定值以上的像素、而且區(qū)域的邊界不以大于預定值的曲率向該區(qū)域內(nèi)側(cè)彎曲”的封閉區(qū)域，并且在該封閉區(qū)域內(nèi)根據(jù)顏色特征量與基準顏色的偏差檢測異常部位，從而能夠高精度地識別出人體管腔內(nèi)的病變部位。JP2012016453A[17]對各像素值的顏色要素進行形態(tài)學處理，進而識別異常候選區(qū)域。

進而，在識別異常候選區(qū)域的基礎(chǔ)上，進行病變部位的進一步精確識別：

JP2013085718A[18]和CN103945755A[19]先識別出圖像中的出泡區(qū)域，進而在出泡區(qū)域內(nèi)識別異常病變部位。WO2013187206A1[20]和CN104812288A[21]中先設(shè)定檢查區(qū)域，然后使用紋理特征量來識別位于檢查區(qū)域內(nèi)的被檢查者的細微結(jié)構(gòu)是否為異常。CN105828691A[22]先提取像素值比周圍高的像素連續(xù)規(guī)定像素數(shù)以上的線形狀的區(qū)域作為關(guān)注區(qū)域，再計算基于沿著線形狀的區(qū)域的一個以上的圓弧的曲率，即曲率特征量，并根據(jù)該曲率特征量來判定關(guān)注區(qū)域內(nèi)是否存在病變部位。WO2017090166A1[23]根據(jù)生物體的管腔內(nèi)圖像中的粘膜壁的輪廓邊緣或粘膜壁的表面形狀來檢測異常候選區(qū)域，并根據(jù)異常候選區(qū)域的紋理信息來確定異常部位。

2.3? 重點圖像挑選

重點圖像挑選主要便于醫(yī)生更好地從眾多的圖像中識別出重點需要醫(yī)生閱讀的陽性圖像，并且，可以根據(jù)識別結(jié)果對需要重點關(guān)注的圖像予以放大、放慢速度等顯示，進而提高醫(yī)生的閱片效率和有效診斷。

JP2013030105A[24]將采集到的圖像中拍入了同一對象的區(qū)域連結(jié)起來，來設(shè)定至少1個連結(jié)區(qū)域，計算連結(jié)區(qū)域的特征量，根據(jù)該特征量計算被拍入對象在各圖像中匯集的程度對應(yīng)的精華指標值，根據(jù)該精華指標值來檢測精華圖像。CN104203065A[25]中根據(jù)多個圖像之間的相似度、對象物體或場景的識別處理對拍攝獲得的圖像進行精簡，從而得到精簡以后的數(shù)量減少的精簡圖像列。CN101170940A[8]對于正常圖像和被識別出的存在病變的圖像，按照不同的速率進行顯示，對于正常圖像，較快地進行顯示，對于存在病變的圖像，放慢顯示速率。WO2013024687A1[26]先計算拍攝得到的圖像的特征量，特征量例如可以是圖像的平均顏色、平均顏色的變化量、平均亮度等，并將該特征量與基準特征量進行比較，判斷是否存在陽性圖像，并根據(jù)判定結(jié)果控制圖像顯示的模式，例如放大、縮小、改變顯示速度等。

隨著技術(shù)的發(fā)展，奧林巴斯公司在重點圖像的挑選方面，研發(fā)出了先挑選異常圖像組，進而再從異常圖像組中再選取優(yōu)選圖像的方法：

CN106132266A[27]中根據(jù)大局類似度或者基于大局類似度的判別參數(shù)與閾值之間的比較，提取包含相同的關(guān)注區(qū)域的關(guān)注圖像組，并從關(guān)注圖像組中提取代表圖像，其中大局類似度是指不同的關(guān)注圖像之間，至少包含除了關(guān)注區(qū)域以外區(qū)域的區(qū)域之間的類似度;WO2015137016A1[28]通過拍攝得到的一系列的圖像組中檢測包含異常區(qū)域的圖像即異常圖像，并在異常圖像中提取包含相同的異常區(qū)域的異常圖像組，進而根據(jù)異常區(qū)域的重要度和視覺辨認性中的至少任意一方，從各個異常圖像組中提取代表圖像。

3? 結(jié)論

在膠囊內(nèi)窺鏡領(lǐng)域，全球?qū)＠暾埩孔畲蟮氖侨毡镜膴W林巴斯公司，通過對奧林巴斯公司在膠囊內(nèi)窺經(jīng)圖像診斷技術(shù)方面的專利進行分析，發(fā)現(xiàn)其研發(fā)重點主要包括粘膜檢測、病變部位識別和重點異常圖像挑選這三個方面，其中病變部位識別是研究的重中之重，包括了病變部位的直接識別和基于異常候選區(qū)域的病變部位的識別兩個主題的識別方式。通過本文的專利分析，有助于相關(guān)領(lǐng)域研究人員了解膠囊內(nèi)窺鏡的行業(yè)巨頭奧林巴斯公司在膠囊內(nèi)窺鏡圖像診斷技術(shù)方面的專利技術(shù)發(fā)展現(xiàn)狀，并有助于我國企業(yè)和研究機構(gòu)在此基礎(chǔ)上加強技術(shù)創(chuàng)新，尋找新的突破口，促進我國膠囊內(nèi)窺鏡的研制。

參考文獻

[1] 奧林巴斯株式會社. 圖像處理方法， JP2006166939A[P]. 2006-06-29.

[2] 奧林巴斯醫(yī)療株式會社. 圖像處理裝置以及圖像處理方法， CN101150977A[P]. 2008-03-26.

[3] 奧林巴斯醫(yī)療株式會社. 圖像處理裝置以及圖像處理方法， CN101966071A[P]. 2011-02-09.

[4] 奧林巴斯株式會社. 圖像處理裝置、圖像處理方法以及圖像處理程序， JP2012115342A[P]. 2012-06-21.

[5] 奧林巴斯株式會社. 圖像處理裝置和圖像處理方法， CN102697446A[P]. 2012-10-03.

[6] Olympus corporation. Image display device， Computer Rea?dable Storage Medium Storing Image Processing Program， and Image Processing Method， US2010124365A1[P]. 2010- 05-20.

[7] 奧林巴斯株式會社. 圖像處理裝置以及圖像處理方法， JP2010187756A[P]. 2010-09-02.

[8] 奧林巴斯醫(yī)療株式會社. 圖像顯示裝置， CN101170940A[P]. 2008-04-30.

[9] 奧林巴斯醫(yī)療株式會社. 內(nèi)窺鏡診斷支持方法、內(nèi)窺鏡診斷支持裝置和內(nèi)窺鏡診斷支持程序， WO2006129430A1[P]. 2006-12-07.

[10] 奧林巴斯醫(yī)療株式會社. 圖像顯示裝置， CN101116608A[P]. 2008-02-06.

[11] 奧林巴斯株式會社. 圖像處理裝置以及圖像處理方法， CN102737388A[P]. 2012-10-17.

[12] 奧林巴斯株式會社. 圖像處理裝置及圖像處理方法， JP2012238041A[P]. 2012-12-06.

[13] 奧林巴斯株式會社. 圖像處理裝置、圖像處理程序以及圖像處理方法， JP2009297450A[P]. 2009-12-24.

[14] 奧林巴斯醫(yī)療株式會社. 圖像處理裝置、圖像處理程序以及圖像處理方法， CN102056530A[P]. 2011-05-11.

[15] 奧林巴斯株式會社. 圖像處理裝置及圖像處理方法， CN102254320 A[P]. 2011-11-23.

[16] 奧林巴斯株式會社. 圖像處理裝置以及圖像處理方法， CN102376091A[P]. 2012-03-14.

[17] 奧林巴斯株式會社. 圖像處理裝置、圖像處理方法以及圖像處理程序， JP2012016453A[P].? 2012-01-26.

[18] 奧林巴斯株式會社. 圖像處理裝置、圖像處理方法及圖像處理程序， JP2013085718A[P]. 2013-07-24.

[19] 奧林巴斯株式會社. 圖像處理裝置以及圖像處理方法， CN103945755A[P]. 2014-07-23.

[20] 奧林巴斯株式會社. 圖像處理裝置、圖像處理方法以及圖像處理程序， WO2013187206A1[P]. 2013-12-19.

[21] 奧林巴斯株式會社. 圖像處理裝置、圖像處理方法和圖像處理程序， CN104812288A[P]. 2015-07-29.

[22] 奧林巴斯株式會社. 圖像處理裝置、圖像處理方法和圖像處理程序， CN105828691A[P]. 2016-08-03.

[23] 奧林巴斯株式會社. 圖像處理裝置、圖像處理方法以及圖像處理程序， WO2017090166A1[P]. 2017-06-01.

[24] 奧林巴斯株式會社. 圖像處理裝置、圖像處理方法和圖像處理程序， JP2013030105A[P]. 2013-02-07.

[25] 奧林巴斯株式會社. 圖像處理裝置、程序和圖像處理方法， CN104203065A[P]. 2014-12-10.

[26] 奧林巴斯株式會社. 圖像管理裝置、方法和讀片用程序， WO2013024687A1[P]. 2013-02-21.

[27] 奧林巴斯株式會社. 圖像處理裝置、圖像處理方法以及圖像處理程序， CN106132266A[P]. 2016-11-16.

[28] 奧林巴斯株式會社. 圖像處理裝置、圖像處理方法、及圖像處理程序， WO2015137016A1[P]. 2015-09-17.