應(yīng)用于精密顯微操控場景的毛細(xì)針口徑識別算法*

邱建雄，陳安琪，，閆明月，支鵬翔，李剛強(qiáng)，，聞路紅，

（1.寧波大學(xué)高等技術(shù)研究院，浙江 寧波 315211；2.寧波華儀寧創(chuàng)智能科技有限公司，浙江 寧波 315100）

0 引言

精密顯微操控技術(shù)在生命科學(xué)領(lǐng)域中具備顯著的應(yīng)用潛力［1］。近年來，精密顯微操控技術(shù)的發(fā)展引領(lǐng)了單細(xì)胞質(zhì)譜分析技術(shù)的革新，推動了單細(xì)胞代謝組學(xué)的進(jìn)步［2］，在藥物代謝監(jiān)測［3］、細(xì)胞精準(zhǔn)分型［4］、腫瘤脂質(zhì)研究［5］等方面作出了重要貢獻(xiàn)。在單細(xì)胞質(zhì)譜分析的應(yīng)用場景下，毛細(xì)針是一種被廣泛應(yīng)用的顯微操控末端執(zhí)行器，其自身特性直接影響了單細(xì)胞分離［6］、代謝物提取［7］、微液滴分配［8］等核心環(huán)節(jié)的精度和可靠性。

端部口徑是毛細(xì)針的關(guān)鍵參數(shù)，不同類型的研究對毛細(xì)針口徑均有著嚴(yán)苛的要求［8～10］。傳統(tǒng)的毛細(xì)針口徑檢查方法依賴于人工操作，要求實驗人員在顯微鏡下目視判定毛細(xì)針的口徑尺寸。該方法效率低下，且受主觀經(jīng)驗影響，判讀誤差大，難以滿足高通量的單細(xì)胞分析需求。因此，研發(fā)自動化的毛細(xì)針口徑檢查技術(shù)可大幅提升毛細(xì)針口徑判讀的效率和精度，具有巨大的實用價值。

毛細(xì)針口徑識別算法是自動化毛細(xì)針口徑檢查技術(shù)的根基，通常通過識別毛細(xì)針端部的幾何特征來實現(xiàn)。霍夫（Hough）變換是一種常用的檢測算法，但其存在消耗內(nèi)存大、運算速度慢等問題［11］。邊緣追蹤可以有效解決Hough變換的問題，但是會受到噪聲和圖像質(zhì)量影響［12］。深度學(xué)習(xí)是一種表現(xiàn)出色的對圖像進(jìn)行端到端學(xué)習(xí)的方法，但需要大量標(biāo)注數(shù)據(jù)和計算資源，同時對模型的可解釋性較差［13］。

針對上述問題，本文提出了一種基于自適應(yīng)感興趣區(qū)域（region of interest，ROI）提取的口徑識別算法。該算法無需采集額外背景圖像，通過準(zhǔn)確鎖定針尖ROI并進(jìn)行雙向同步點掃，完成針尖端部兩個特征端點的定位，實現(xiàn)毛細(xì)針口徑的快速、精準(zhǔn)判讀，為精密顯微操控技術(shù)奠定了良好的算法基礎(chǔ)。

1 算法介紹

1.1 針尖ROI定位

將采集到的毛細(xì)針尖圖像進(jìn)行Mean-Shift［14］圖像分割處理，可以得到一個顏色漸變、紋理平緩的圖像，由于所關(guān)注的特征區(qū)域可以僅由執(zhí)行器的外部輪廓確定，因此細(xì)節(jié)的紋理信息并不是必要的。對分割好的圖像進(jìn)行Canny邊緣提取［15］，因為Canny提取的邊緣受雙閾值影響連續(xù)性無法保證，故對邊緣進(jìn)行圖像閉運算使得小范圍內(nèi)離散的邊緣連續(xù)。最后通過對連續(xù)輪廓進(jìn)行外接矩形操作，以外接矩形周長為判斷條件，篩選出外接矩形面積最大的輪廓為目標(biāo)輪廓。將最大外接矩形的左下頂點設(shè)為ROI 中心，獲取80 像素×80 像素的ROI，圖1 為ROI提取算法的流程。

圖1 ROI算法流程

1.2 基于雙向同步點掃描的口徑識別算法

采用1.1節(jié)ROI自動定位方法定位ROI。在本文中的ROI即為以特征點為中心的80 像素×80 像素鄰域。如圖2所示，分別為不同口徑毛細(xì)針以特征點構(gòu)建的最大外接矩形示意。從圖中可以看出：毛細(xì)針尖處的幾何輪廓與最大外接矩形在空間上呈相切關(guān)系，因此可利用特征點進(jìn)行自下而上，自左而右的雙向同步掃描確定切點位置。

圖2 不同口徑毛細(xì)針示意

通過計算兩切點的歐氏距離及像素點與空間長度映射關(guān)系，可實現(xiàn)毛細(xì)針口徑的數(shù)值化。其數(shù)學(xué)模型如式（1）～式（3）所示

其中，α為映射系數(shù)在成像條件固定情況下為常數(shù)，在本文中α ＝1.6 pixel／μm。

2 實驗結(jié)果與分析

2.1 針尖ROI定位

為驗證針尖ROI定位算法的可靠性，實驗采用了針尖口徑5～10 μm 毛細(xì)針進(jìn)行ROI 選取，圖像分辨率為1 920像素×1 200像素，通過Python 3.7編程實現(xiàn)。

根據(jù)ROI 定位算法實現(xiàn)流程，結(jié)果如圖3 所示。圖3（a）為原始拍攝的三原色（RGB）通道圖像；圖3（b）為經(jīng)過Mean-Shift圖像分割之后的圖像；圖3（c）為Mean-Shift后采用Canny算法的特征輪廓；圖3（d）為Canny后采用圖像閉運算的效果圖；圖3（e）為輪廓最大周長外接矩形；圖3（f）為經(jīng)過ROI 提取算法后的ROI 圖像。通過結(jié)果可以看出針尖ROI定位算法可以準(zhǔn)確提取毛細(xì)針尖區(qū)域。

圖3 ROI提取可視化

Wang W H等人［16］將640像素×480 像素的顯微圖像通過每幀圖像中減去未變化的背景來區(qū)分運動物體，將ROI縮小至100像素×80像素，閆明月等人［17］采用的點掃法在獲取ROI時要求具備毛細(xì)針的背景圖像。雖然都成功獲取了針尖處的ROI，但是其ROI提取需要多幀圖像信息輔助，該項工作中，通過圖像分割策略緩和整幅圖像在色彩上的差異，假設(shè)外輪廓為ROI 提取中的主要特征，通過Canny邊緣提取與輪廓最大外接矩形，確定ROI特征點，在不需要額外信息的情況下得到80 像素×80 像素的ROI圖像。

2.2 針尖口徑大小識別

針尖口徑大小的確定依賴于針尖口徑兩端的特征端點，因此對特征端點的坐標(biāo)定位進(jìn)行誤差分析，采用不同基質(zhì)背景與不同口徑的毛細(xì)針進(jìn)行誤差分析實驗，特征端點選定及距離示意如圖4 所示，誤差分析結(jié)果如表1 所示。其中，定義左側(cè)點為特征點1，右側(cè)點為特征點2。特征點誤差分析為人為標(biāo)定點與算法標(biāo)定點的歐氏距離差。可以看出平均偏差范圍在1個像素點以內(nèi)。毛細(xì)針口徑大小的識別誤差在百納米級別，且適用于不同口徑大小的毛細(xì)針。

表1 毛細(xì)針口徑識別算法誤差分析

圖4 不同環(huán)境下的多孔徑毛細(xì)針口徑識別

2.3 運行時間

表2為該方法關(guān)鍵步驟的平均運行時間，處理關(guān)鍵步驟的平均計算時間為240.1 ms，其中口徑識別耗時10.8 ms，這表明所提出的方法是實時的。

表2 關(guān)鍵步驟平均計算時長

3 結(jié)論

本文針對顯微視野中的毛細(xì)針空間定位與口徑大小進(jìn)行研究，針對針尖的二維平面定位提出自適應(yīng)ROI提取算法，通過圖像分割策略提取毛細(xì)針外輪廓最大外接矩形特征點，減少ROI獲取先驗條件與后續(xù)應(yīng)用計算量；針對毛細(xì)針口徑識別提出基于雙向同步點掃描的口徑識別算法，實現(xiàn)亞微米級口徑大小識別。

實驗結(jié)果表明：本文方法既可以有效解決毛細(xì)針尖的高精度定位，又能實現(xiàn)像素級針尖口徑大小識別，為后續(xù)單細(xì)胞操作、顯微注射、毛細(xì)管電泳等系統(tǒng)研究奠定良好的基礎(chǔ)。