示證屏中紅外多重觸控快速標定算法?

李鐵柱 朱文華 蔡 寶

（上海第二工業大學工程訓練中心 上海 201209）

1 引言

視聽資料證據是指以圖像和聲音形式證明案件真實情況的證據。包括與案件事實、犯罪嫌疑人以及犯罪嫌疑人實施反偵查行為有關的錄音、錄像、照片、膠片、聲卡、電子計算機內存信息資料等。融入激光多重觸控技術，通過簡單高效的人機互動方式，可加直觀有效地展示視聽證據資料，提供靈活的數字媒體信息服務。它是一種新的多點輸入及多點響應技術，參考文獻［1～5］概述了觸控技術的原理、系統組成、設計要求等。文獻［6］針對環境紅外噪聲干擾的問題，提出了一種基于同步脈沖光源的相鄰幀差算法，同時還構建了嵌入同步脈沖光源的多點觸摸硬件平臺，實現了SPLA算法，并進行了大量的觸摸實驗。

通過多重觸控技術的引入，有效解決我們現在所用的示證軟件操作復雜，不能多人同時操作等問題。然而觸控識別算法的開發設計比硬件技術更為復雜，不僅在軟件功能上進行不斷的創新，同時也要根據不同的應用場景進行提高。本文設計并實現了基于FTIR原理的紅外激光檢測多點觸控系統，包括系統組成、調整投影機畫面、攝像頭設置，到不同場景下掩模圖像生成，重點論述了在不同掩模情況下，采用的攝像頭標定及估算算法。

2 軟件系統組成

2.1 FTIR原理

光由介質i進入介質r常會發生偏折現象，而其偏折的量與光在介質中的傳播速度有關，而于不同介質中之傳播速度比則為光于此介質中之相對折射率，即

以兩平行光波Ⅰ、Ⅱ由介質i斜射入介質r，當光波Ⅰ接觸到介面A點時，光波Ⅱ的波才到達B點。因光波介質i進入介質r，速度也由νi變為νr，而致光波發生偏折。當光波Ⅱ的波前到達介面D點時，光波Ⅰ的波前已達介質r的C點，如圖1所示。

圖1 光波折射原理圖

所以由

其中Δt為光波傳播從A到C或B到D所須之時間，所以nisinθi=nrsinθr，其中ni、nr分別為介質i及介質r的絕對折射率，θi為入射線與法線間之夾角（入射角），為折射線與法線間之夾角（折射角）。

受抑全內反射Frustrated Total Internal Reflection（FTIR），簡稱全反射。當入射角比臨界角大時（光線遠離法線），光線會停止進入另一界面，反之會全部向內面反射。這只會發生在當光線從較高折射率的介質進入到較低折射率的介質以及入射角大于臨界角時。因為沒有折射而都是反射，因此也被稱為全內反射［1］。當用戶在樹脂玻璃表面觸摸時，光線就會被用戶的接觸部位反射或折射，在觸摸的地方就會將原本反射在內部的紅外線折射到我們在外面架設的紅外攝像頭，通過對應的算法就可以偵測到相對應的觸點?；贔TIR觸摸技術搭建的設備體積相對較大，但系統可拓展性好、較之其他系統成本較低以及容易搭建，如圖2所示。

2.2 標定架構

標定總體分成5個模塊:視頻采集模塊、顯示模塊、掩模模塊、圖像檢測模塊、標定模塊。如圖3所示。

圖2 FITR系統原理圖

圖3 標定架構圖

視頻采集模塊采集顯示模塊投影在示證屏上的視頻幀圖像，其中顯示模塊投影的圖像為標定模塊設定的具有一定特征的圖形，然后將幀圖像傳送給圖像檢測模塊，圖像檢測模塊同時加載掩模模塊傳送的掩模圖像，并將幀圖像與掩模圖像融合，對融合圖像檢測識別出圖形的特征表示，并將特征表示傳給標定模塊，標定模塊根據這些特征表示進行標定及估算，保存數據結果，然后通知顯示模塊顯示下一個具有一定特征的圖形。以此類推，所有的示證屏都被具有一定特征的圖形掃過之后，標定模塊計算出整個顯示的標定數據。

3 標定算法

標定采用圖像檢測識別與顯示相結合的方式來實現［7～8］，算法分為三步:

第一步:有效標定點識別，顯示模塊在示證屏投影出白色的圓點，檢測模塊根據幀圖像識別出特征點，并根據識別出的點進行判斷標定點是否在掩模范圍內；

第二步:精確有效標定點坐標，顯示模塊顯示白色的格子，檢測模塊檢測格子的角點來進一步確定標定點的坐標；

最后一步:NURBS插補，根據前兩步得到的標定點估算其他在掩?；訁^域的標定點，用所有的標定點實現標定。這里先進行如下定義。

顯示寬度:displayerW

顯示高度:displayerH

行向格子數量:Grid_X

列向格子數量:Grid_Y

格子寬度:dtx=displayerW/Grid_X

格子高度:dty=displayerH/Grid_Y

標定點列數:Point_X=Grid_X+1

標定點行數:Point_Y=Grid_Y+1

標定點總數:Point_Sum=Point_X*Point_Y

3.1 有效標定點識別

標定點id號在［0，Point_Sum-1］范圍內，則:

第i個標定點的行列號為

xid=id%Point_X；

yid=id/Point_X；

此標定點投影坐標為（dtx*xid，dty*yid）。

投影半徑為（dtx+dty）/10。

顯示模塊顯示id號標定點，檢測模塊采用自適應灰度閾值法得到標定點在幀圖像的輪廓［9］，并計算輪廓的中心矩，最終求得的標定點坐標作為此標定點的初始坐標并保存，然后通知顯示模塊顯示id+1號標定點。將所有識別出的標定點按每行、每列擬合，此時的擬合采用非線性曲線擬合（每行、每列至少四個識別出來的標定點），并將這些標定點坐標保存數組中，此時數組存入的標定點包括三種情況:

1）識別出來的標定點；

2）沒有識別出來但擬合出來的標定點；

3）其他的標定點。在識別過程中實時判斷是否需要重新標定。

判斷準則:計算識別出來的點與其相鄰識別出來的標定點的距離，最大距離大于三倍的最小距離或者最小距離小于某個設定值，都認為識別錯誤，程序會重新自動標定。

3.2 精確有效標定點坐標

標定點id號i在［0，Point_Sum-1］范圍內，則

第i個標定點的行列號為

xid=AutoCalibId%Point_X；

yid=AutoCalibId/Point_X；

此標定格子投影坐標根據分布在顯示區域的不同分別為

顯示區域左上部分時，坐標為（dtx*x+dtx/2，dty*y+dty/2）；

顯示區域右上部分時，坐標為（dtx*x-dtx/2，dty*y+dty/2）；

顯示區域左下部分時，坐標為（dtx*x+dtx/2，dty*y-dty/2）；

顯示區域右下部分時，坐標為（dtx*x-dtx/2，dty*y-dty/2）。

計算標定點坐標流程圖如圖4所示。

圖4 計算標定點坐標流程圖

顯示模塊顯示id號格子，檢測模塊首先自適用灰度閾值法和最小外接矩形法得到格子的初步矩形輪廓，對初步輪廓進行擴大1.2倍作為感興趣區域，進行自適應灰度閾值法和擬合多邊形頂點數組，并結合角點計算出精確的標定點坐標［10～14］。然后通知顯示模塊顯示id+1號標定點。

3.3 NURBS插補

將上述步驟中的精確標定點坐標作為控制點，采用插補算法進行擬合，最終得到整個標定曲面的所有像素點的映射坐標，從而達到標定目的。統一的曲線和曲面在透視投影下也不是無變化的，對于交互的3D建模來說這是一個嚴重的缺陷。針對本文中的設計要求，我們采用了非統一有理B樣條，即Non-Uniform Rational B-Splines（NURBS）進行曲面擬合［15～16］。NURBS既為標準解析形狀，又為自由型曲線曲面的精確表示與設計提供了一個公共的數學形式，一個控制頂點的影響力的范圍能夠改變，為各種形狀設計提供了充分的靈活性，對幾何變換和投影變換具有不變性。本文中我們采用了三次NURBS曲線。一條NURBS曲線完全由控制點、權因子和節點矢量三類參數確定。NURBS曲線可以表示為一分段有理多項式函數:

其中di(i=0，1，…n)為控制點，每個控制點有一個權因子 ωi(i=0，1，…，n)，U=[u0，u1，…，un+k+1]稱為節點矢量，Ni，k為k次規范B樣條基函數，本文采用三次NURBS曲線進行插補，即k=3。

在插補計算中，可以保證NURBS曲線通過已知的精確標定點。為方便使用，給出一組型值點即可，由插補程序根據已知標定點確定出控制點和相應的節點矢量，同時根據程序中默認的權因子構造通過這些標定點的NURBS曲線。由n+1個控制點和與其對應的具有n+5個元素的節點矢量，可以得到得到n-2個區間段的NURBS曲線。因此，要生成經過n+1個標定點的n段NURBS曲線，需要n+3個控制點和對應的具有n+7個元素的節點矢量。具體步驟如下:

1）計算節點矢量。

2）確定權因子矢量。

3）反求控制點。

4）插補參數預處理將已經求得的控制點、權因子及節點矢量輸入，求得第i段NURBS曲線的各個系數。修改控制頂點的位置，曲線隨之變形。插補時只需計算參數增加值，并將參數值計算出插補點坐標。

4 標定算法測試

根據環境光線影響及掩模為不同形狀時，有如下幾種測試結果。

測試1:環境光線比較亮，掩模為矩形，如圖5（a）所示，所有的標定點都可以識別出來。

測試2:環境光線比較暗，掩模為矩形，如圖5（b）所示，所有的標定點都可以識別出來。

圖5 掩模為矩形的標定結果

測試3:環境光線比較亮，掩模為不規則形狀，如圖6所示，圖中左上角、左下角和右上角的部分標定點無法識別出來，其他的標定點可以識別出來，無法識別的標定點通過估計的方法得到。

測試4:環境光線比較暗，掩模為不規則形狀，如圖6所示，圖中左上角、左下角和右上角的部分標定點無法識別出來，其他的標定點可以識別出來，無法識別的標定點通過估計的方法得到。

測試5:環境光線比較亮，掩模為橢圓形，如圖7所示，圖中四個角及邊界的部分標定點無法識別出來，其他的標定點可以識別出來，無法識別的標定點通過估計的方法得到。

圖6 掩模為不規則形狀的標定結果

測試6:環境光線比較暗，掩模為橢圓形，如圖7所示，圖中四個角及邊界的部分標定點無法識別出來，其他的標定點可以識別出來，無法識別的標定點通過估計的方法得到。

圖7 mask掩模為橢圓形的標定結果

從測試結果來看，攝像頭靠近投影機安裝比遠離投影機安裝自動標定的效果好，投影機投影到顯示畫面的方格子，由于顯示鏡面有一定的厚度，這樣攝像頭就會“看到”顯示鏡面背面顯示的方格子，攝像頭越是遠離投影鏡頭，攝像頭“看到”鏡面背面的方格子就越明顯，這樣標定出來的結果誤差就越大。

掩模為矩形時，所有的標定點都為有效標定點，掩模為其他形狀，則有些標定點為無效的標定點，這些無效標定點通過靠近它的有效標定點進行估計，估計出來的標定點的誤差比實際標定出來的標定點大。

環境光的影響，通過攝像頭只要能夠清晰地看到棋盤格就可以了，只要不出現過暗或者過亮情況應該都可以得到較好的標定結果。

綜上所述，為了得到較好的標定結果，攝像頭盡量靠近投影機安裝，將環境光線調節到能夠通過攝像頭看到清晰明亮的棋盤格。

5 結語

本文提出的自動標定算法在攝像頭安裝位置不同、環境光線亮暗影響、掩模遮罩不同等情況下都進行大量的測試。在實際示證系統安裝和使用中，由于現場條件的限制，攝像頭遠離投影機安裝，環境光線比較暗，掩模為橢圓形的情況，本文的算法也能實現系統的有效標定，無法識別的標定點通過估計的方法得到，經過大量實驗測試證明，本文的算法穩定可靠，滿足系統的實際需求。