基于模板匹配的靜脈注射滴速測量

余 翠，李 立，龍 凡，張 原

(武漢大學 電子信息學院，武漢 430072)

1 引 言

目前靜脈注射技術已經成為臨床最有效、直接且常用的治療手段之一.不同的臨床病情對靜脈注射的滴速要求不同，輸液耗時長且需要醫護人員實時監測，這給患者自身、患者家屬以及醫護工作人員都帶來了沉重的負擔[1].因此實現靜脈滴注自動測速對于臨床治療和日常生活具有顯著意義.

傳統的靜脈滴注測速主要依靠醫護人員人工測量(通常通過滴15-30秒來目測)，不僅檢測速度慢，檢測結果也不夠精確；或者利用機械稱重、電容計量、紅外光電等方式輸液檢測，這些測量方案復雜不便操作，成本較高無法普及[2].

隨著人工智能與機器視覺的高速發展，智慧醫療也逐漸走進人們的生活，圖像處理不僅可以代替人力完成測量和鑒定的工作，保證測量過程中的自動化與自由性，而且使得測量和檢查更精確.如[3]提出了一種將連續幀間差分與背景差分相融合運用到醫療中輸液液滴速度檢測中，但是該方法抗干擾能力差，沒有考慮到復雜環境因素對結果的影響.

本文提出了一種基于模板匹配的靜脈注射滴速測量方法.將圖像處理中的模板匹配算法應用到液滴速度測量中，通過移動設備采集拍攝靜脈注射視頻，首先對視頻圖像進行液滴模板的提取，然后利用模板匹配找出液滴幀并提取液滴幀號，根據幀號計算出輸液速度，實驗證明該方法能有效地減少環境的干擾，準確地計算出液滴速度，并且方便快捷、成本低廉、操作簡單，具有很好的現實應用意義.

2 用于滴速測量的模板匹配算法

2.1 模板匹配算法原理

模板匹配是數字圖像處理匹配技術中一種常用方法，其主要方式是通過已知模板圖像，按照相應的模式去尋找另一幅圖像中是否存在已知模板圖像.這里尋找模式主要是指通過相關函數的計算來尋找模板圖像在另一幅圖像中的位置[4].模板匹配示意圖如圖1所示.

常見的模板匹配算法，一種是基于灰度的模板匹配，另一種是基于特征點的模板匹配[5].本文研究模板匹配的對象主要是液滴，液滴形狀較小且單一，相對應的特征點較少.所以本文所述的靜脈注射液滴流速測量算法，采用的是基于灰度的模板匹配.

目前基于灰度的模板匹配的思想主要是統計學的思想，將待處理的圖像看成是一個二維的信號，然后通過統計學里面的相關算法統計計算不同信號之間的相似度也就是匹配的相關程度[6].

圖1 模板匹配示意圖Fig.1 Diagram of template matching

主要是樣本灰度圖的像素平均值、方差、協方差以及相關函數等與模本之間的相似性,判斷模板與樣本間的對應關系[7].

2.2 液滴模板的提取

基于液滴模板匹配的難點在于液滴模板的提取，由于移動設備采集視頻時可控性差，易造成視頻抖動，且輸液環境不同，這些都對視頻圖像液滴模板的提取影響十分嚴重，因此需要對輸入的視頻圖像進行處理，首先利用高斯混合模型提取滴管前景，然后采用積分投影算法對滴管區域進行定位，最后通過霍夫變換提取出液滴模板，從而能較大程度減少環境的干擾，提高液滴模板提取結果的準確性.液滴模板提取的流程圖如圖2所示.

圖2 液滴模板提取流程圖Fig.2 Flow chart of droplet template extracting

2.2.1 混合高斯模型

混合高斯模型是利用若干個單高斯分布也就是正態分布的加權和進行建模的方式，能夠很好的反映像素的多尖峰情況，避免光照變化或者其他背景干擾[8].在混合高斯背景模型中，實際場景畫面的每個點的像素值可以由k個正太分布也就是單高斯分布組成的混合分布來表示[9]，如公式(1)所示：

(1)

圖3 前景提取結果示意圖Fig.3 Result of foreground extraction

本文利用樣本圖像的像素統計信息(模式數量、每個模式的均值和標準差)表示背景，然后使用統計差分進行目標像素判斷，判斷為前景則將像素的值設置為255，即為一個白色像素點.反之設置為0，得到前景的二值化圖像.最后進行形態學濾波，開運算濾除較小的噪聲干擾，閉運算補全不連續的邊緣信息，從而得到復雜背景下視頻的前景提取，如圖3所示.

2.2.2 投影積分算法

投影積分算法是針對灰度圖像尋找灰度變化極大(小)值的算法，這種方法在本質上是一種統計方法, 主要有水平投影和垂直投影[10].

(2)

(3)

在公式(2)和公式(3)中,(x,y)表示像素所處的位置,I(x,y)表示該像素點的灰度值,n表示一行所有的像素點數,m表示一列所有的像素點數, 可見水平投影就是將一行所有的像素點的灰度值進行累加后再顯示；垂直投影就是將一列所有的像素點的灰度值進行累加后再顯示[11，12].

圖4 積分投影算法滴管區域定位結果Fig.4 Results of locating the dopper region

視頻圖像進行前景提取后，接著進行滴管區域的定位，為增強邊界特點，同時又減少其他非邊界像素的干擾，首先將輸入的前景圖像進行灰度化、二值化、腐蝕膨脹等處理，然后對處理過后的圖像分別進行水平方向與垂直方向進行積分投影.

滴管長度上下邊界的定位：設定一個閾值T(T值設定根據實驗統計得來，并且與滴管寬度像素B有關，一般T>1/2B)來進行判斷；當統計像素和S≥T時上邊界點出現；繼續進行遍歷統計像素，當出現S≤T時，下邊界出現，直至遍歷坐標等于圖像像素寬，遍歷結束.滴管寬度左右邊界的定位，采取同樣的思路，定位結果如圖4所示.

2.2.3 液滴半徑參數設置

液滴在滴管中運動時，其在二維平面中其邊緣可以近似于一個圓.由于Hough變換對于不規則圓、缺邊等抗干擾能力比較強，所以本文的液滴模板提取采用的是Hough變換.Hough變換檢測圓的關鍵就是對圓的半徑參數設置，包括最大半徑和最小半徑.

由于采集視頻圖像時距離遠近隨意性很大，相同靜脈注射相同滴速的液滴在距離不同時，其像素寬度也會不同，這為液滴模板半徑參數的提取造成了困難.本文利用輸液滴管的實際參數，輔助完成液滴像素半徑的設置.具體步驟如下：

步驟1.根據滴系數，估算液滴實際半徑.

滴系數表示靜脈輸液時1ml藥滴的滴數，單位為滴/ml，不同管徑尺寸的輸液器滴系數不同，我國臨床常用的輸液器液滴系數有10、15、20滴/ml三種型號.則將每個液滴近似為球體，已知滴系數k，可根據體積公式(4)計算出液滴實際半徑R.

4πR3/3=1/k

(4)

步驟2.計算出液滴在任意視頻幀的像素寬度.

取任意長寬已知(寬度為L)的平面物體，將滴管平放于其表面，然后手持手機貼近該物體平面，移動手機遠離直至相機拍攝范圍剛好達到該物體寬的邊緣.已知手機像素寬度為W，則根據比例公式液滴像素寬度為：

r=RW/L

(5)

2.2.4 Hough變換

Hough變換是Hough于1962年提出的一種基于物體區域邊界的形狀描述方法.基本原理是將圖像的空間中檢測問題通過參數方程變換到參數空間中尋找滿足該參數方程特性的峰值問題.把檢測整體特性轉化為檢測局部特性.比如直線、橢圓、圓、弧線等[13].

圖5 特征點三維錐面圖Fig.5 Three-dimensional cone of feature points

經典的Hough變換檢測圓是將圖像分隔成許多小塊，然后掃描圖像特征點，將這些點按照一定的方式轉換到參數空間，再用累加器存儲這些點在參數空間的圓心以及半徑.設定閾值，根據統計學原理累加值大于閾值時認為此特征點為圓心，相對應的坐標為半徑[14].

已知圓的一般方程式為：

(x-a)2+(y-b)2=r2

(6)

其中(a,b)是圓心，r是半徑.將此方程轉換到參數空間，也就是將(a,b,r)當作空間坐標，而x,y為坐標量.這樣每個參數點(x,y)就構成了基于a,b,r參數空間的圓錐.則圖像上的任意一個特征點對應的參數空間上的一個三維錐面，如圖5所示.圖像空間中同一圓上的點對應于參數空間中的所有三維錐面必然交于一點，通過檢測這一點可以獲得圓的參數[15].

圖6 液滴模板提取結果示意圖Fig.6 Results of the droplet template's extraction

本文按照以上液滴半徑參數設置方法，設置最小半徑為0，最大半徑為200像素，最終檢測結果見圖6.

2.3 匹配判別

提取液滴模板之后，通過計算模板與匹配區域的相似度進行匹配判別，常用的相似度計算方法主要有直方圖相似度計算(如巴氏距離法)，特征點的計算，感知哈希算法等[16].

圖7 滴管區域匹配結果示意圖Fig.7 Results of the dropper region's template matching

本文研究模板匹配的對象主要是液滴，液滴形狀較小且單一，相對應的特征點較少.所以這里采取的判別方式就是將匹配區域，單獨截取出來，然后進行二值化處理，再進行遍歷統計像素和.根據設定好的閾值，大于閾值的判斷為含有液滴幀，若小于閾值則判定為無液滴幀.記錄含有液滴幀的幀號.滴管區域匹配結果如圖7所示，液滴匹配區域二值化如圖8所示.

圖7向我們展示了利用模板匹配算法匹配判別檢測到含有液滴幀的結果，第15幀為出現第一個液滴的最后一幀，第40幀為出現第二個液滴的最后一幀.根據模板匹配算法判別：第15幀和第40幀含有液滴，記錄其幀號；第16幀和第41幀不含有液滴.圖8分別為這四幀圖像的液滴模板二值化后的結果.

圖8 液滴區域匹配結果示意圖 Fig.8 Results of the droplet region′s template matching

3 液滴速度檢測

通過模板匹配算法提取的相鄰液滴幀號后，可以計算相鄰液滴出現的幀間隔. 然后根據視頻的頻率f，計算液滴速度V，V的計算方法主要有兩種：

第一種傳統的做法是直接做差值運算假設相鄰液滴出現的幀號分別為n1,n2.則相鄰兩滴液滴出現的幀間隔為：

ΔN=n2-n1

(7)

對于由于液滴滴速過快或采集設備采集頻率過高而出現同一液滴出現在多幅圖像中的情況，導致提取的幀號為同一液滴，這里對同一滴出現的幀進行取均值計算，然后再計算幀間隔.液滴滴速為：

V=f/ΔN

(8)

該方法只是根據幀間差時間計算液滴滴速，沒有考慮液滴在滴管中降落所耗費的時間，缺乏準確性.因此我們對此方法進行了改進，考慮了位置差，比直接根據幀間差去進行計算的結果更加準確.

如圖9所示，將滴管區域看成一個二維坐標平面，水平面為離滴管上部1/2液滴直徑處(即認為液滴從此水平面開始脫離滴管上部做初速度為0的勻加速運動滴入管中)，橫軸為x坐標，豎軸為y坐標.記錄幀號n1,n2的縱坐標(液滴1/2高度的位置)分別為y1,y2.

圖9 相鄰兩液滴幀位置差示意圖Fig.9 Position difference of two adjacent drop frames

已知視頻頻率為f，則相鄰兩個液滴出現的時間差為：

Δt=ΔN/f+t2-t1

(9)

(10)

則輸液時間t(h)為：

(11)

其中T為液體總量，單位為ml，k為點滴系數，單位為滴/ml.

4 實驗與分析

4.1 實驗數據與環境

實驗條件為:Visual Studio 2010 開發平臺，運用OpenCV2.9進行編程.選用的計算機的配置為 Intel Core i5-6200U CPU2.30 GHz，內存8GB，操作系統是 Windows 10.

本文采集了來自武漢大學中南醫院、武漢大學校醫院等醫療機構50個輸液視頻樣本，每個視頻樣本15秒，視頻每秒29幀，每幀圖像大小為1080×1920像素.

4.2 液滴流速誤差分析

根據本文的相關算法，對背景環境各異、滴速快慢程度不同、光照程度不同、拍攝距離不同的樣本進行液滴流速計算統計，并與其實際速度相對比進行誤差分析.如表1是其中10組樣本液滴流速的測量以及誤差分析，液滴滴速單位為滴/分.

表1中參考滴速為人為觀測的液滴滴速，誤差比為計算滴速與參考滴速差值比上參考滴速.幀差法為上文介紹的滴速計算方法一，直接由含有液滴幀的時間差計算而來，這也是傳統的做法，本文方法利用模板匹配算法精確提取液滴幀號并考慮液滴落下的位置差所消耗的時間.

表1 液滴滴速誤差分析比較Table 1 Error analysis of the infusion rate

由表1可以看出幀差法的實驗結果比本文方法誤差更大，特別是在外界環境干擾比較大的情況下，例如樣本1，液滴呈黃色，背景較雜亂，光照強度為56Lx，測量誤差達到8.97%.樣本5，液滴無色透明，滴管與背景區分度弱，光照強度82Lx，誤差率高達14.80%.圖10為兩個樣本圖.

圖10 樣本實際場景圖Fig.10 Samples on different infusion environment

由此可見，本文方法計算出的液滴滴速比傳統幀差法準確性更高，且對不同背景、光照、拍攝距離的因素的魯棒性更好.

4.3 高幀率視頻液滴測速

上述的實驗采集設備采用的幀率29幀每秒，實驗中有滴速超過90滴每分鐘的情況.這種情況下檢測液滴幀出現漏幀情況嚴重，如上表樣本8實際速度132滴每分鐘，最終的計算結果誤差高達31.228%.所以本部分實驗采用幀率為60幀/s的采集設備進行實驗分析.表2顯示了兩種不同幀率的液滴檢測結果.

表2 不同幀率液滴滴速結果比較Table 2 Infusion rate of different video frame rates

圖11 不同幀率測量誤差Fig.11 Results of different video frame rates

由圖11可以看出對于滴速較快、幀率較小的靜脈滴注，測量誤差較大.造成誤差增大的原因主要是當幀率較小時液滴滴速過快會出現漏幀的情況，同時液滴會形成光流，模板匹配法處理結果帶來較大干擾.如圖12為同一樣本同一滴速下，分別用29幀與60幀設備進行采集樣本逐幀分解后圖像.

當幀率為29幀/s時液滴在滴管中形態較為模糊，形成光流場，也會出現漏幀現象；但是對于幀率為60幀/s的樣本液滴形態較好，不容易出現漏幀現象.將視頻幀率看作采樣頻率，液滴出現頻率視為信號的頻率.根據采樣定理，即采樣頻率大于等于兩倍的信號最大頻率，也即說明了當采用較高幀率的視頻進行處理時出現的干擾越小，結果更加準確，誤差也就較小.移動設備發展越來越快，雖然現在60幀等高幀率視頻格式的移動設備未能完全普及，但是隨著移動硬件設備的高速發展，靜脈注射液滴測速技術在移動平臺上也能更好地實現.

圖12 不同幀率視頻圖像Fig.12 Images of different video frame rates

5 結束語

模板匹配算法多用于機器視覺中的目標跟蹤，本文將這種方法應用于靜脈注射滴速檢測，是智慧醫療領域的一個重大突破.現實場景中的靜脈注射滴速測量受觀察距離、角度、光線、背景復雜度等影響較大，本文設計的基于模板匹配的靜脈注射滴速測量方法，對液滴模板的提取進行了改進：首先利用高斯混合模型提取滴管前景，然后采用積分投影算法對滴管區域進行定位分割，最后通過Hough變換提取液滴模板，從而能較大程度減少環境的干擾，提高液滴滴速檢測結果的準確性.