激光投影虛擬鍵盤的研究與設(shè)計

王久鵬，漆　晶，王小平

(重慶郵電大學(xué) 移動通信技術(shù)重點實驗室，重慶 400065)

激光投影虛擬鍵盤的研究與設(shè)計

王久鵬，漆晶，王小平

(重慶郵電大學(xué) 移動通信技術(shù)重點實驗室，重慶 400065)

摘要：針對激光投影虛擬鍵盤的實際需求，結(jié)合嵌入式技術(shù)和圖像處理技術(shù)，研究設(shè)計了一套激光投影虛擬鍵盤設(shè)備。硬件模塊以ARM Cortex-M4架構(gòu)的微處理器作為主控器，采用數(shù)字型CMOS攝像頭；軟件模塊的處理過程中利用MATLAB進(jìn)行部分?jǐn)?shù)字圖像的處理并將處理結(jié)果導(dǎo)入到微控制器中進(jìn)行嵌入式圖像處理。在完成系統(tǒng)的軟硬件設(shè)計后，對整個系統(tǒng)的功能進(jìn)行測試，由測試結(jié)果表明整個系統(tǒng)達(dá)到了預(yù)期的目的。

關(guān)鍵詞：激光投影技術(shù)；數(shù)字圖像處理；USB設(shè)備開發(fā)

伴隨著移動便攜式設(shè)備的廣泛應(yīng)用，國內(nèi)市場對激光投影虛擬鍵盤的需求逐步提高，尤其是在移動式商務(wù)應(yīng)用、便攜式設(shè)備的文字編寫方面。相較于傳統(tǒng)鍵盤，虛擬鍵盤可以彌補前者在體積需求、便攜性、易用性等方面的不足。目前，國際上較常見的是韓國Celluon公司在2012年美國拉斯維加斯舉辦的消費者電子展上展出的虛擬鍵盤Epic，但其價格不菲；而國內(nèi)在激光投影虛擬鍵盤領(lǐng)域僅僅局限在研究和實驗的階段，其自制的虛擬鍵盤具有以下兩點不足：第一，虛擬鍵盤的識別借助PC機(jī)的OPENCV庫，因而在無OPENCV的設(shè)備中無法使用；第二，自制的虛擬鍵盤體積較大，攜帶不方便。對此，基于虛擬鍵盤設(shè)計的四項基本原則[1]，本文開發(fā)了一套激光投影虛擬鍵盤設(shè)備，在準(zhǔn)確性、可靠性、兼容性和經(jīng)濟(jì)性等方面都得到了很大的提升。

1硬件系統(tǒng)設(shè)計

激光投影虛擬鍵盤系統(tǒng)設(shè)計的關(guān)鍵在于對用戶手指動作的識別，即對手指位置的檢索。本系統(tǒng)設(shè)計采用單攝像頭與一字遠(yuǎn)紅外激光頭對用戶落點進(jìn)行檢測，由于該方法采用單個攝像頭進(jìn)行圖像采集，因而成本較低，且功耗較小。而采用不可見光作為檢索標(biāo)志，和攝像頭中濾光片的配合可以很好地消除可見光的干擾，消除由于環(huán)境光線的變化而造成的圖像特征分離困難的問題。因為僅采用單個攝像頭，采集數(shù)據(jù)量較低：且微控制器可滿足圖像的采集和處理，因而可以較容易在嵌入式系統(tǒng)中實現(xiàn)該設(shè)計的功能，同時可以控制設(shè)計成本，達(dá)到降低成本、降低推廣障礙等目的。

1.1鍵盤電路設(shè)計

激光投影虛擬鍵盤電路設(shè)計的系統(tǒng)框圖見圖1。

圖1　系統(tǒng)總計設(shè)計結(jié)構(gòu)框圖

激光投影虛擬鍵盤系統(tǒng)的工作過程是：通過OV7620數(shù)字?jǐn)z像頭采集圖像并發(fā)送到微控制器MK60DN512VLQ10，由微控制器進(jìn)行圖像處理、識別用戶手指落點，將落點信息轉(zhuǎn)換為按鍵消息響應(yīng)，通過PDIUSBD12芯片采用USB協(xié)議將按鍵消息響應(yīng)發(fā)送給USB主機(jī)，從而實現(xiàn)鍵盤的功能。而2.4in(1in=2.54cm)TFT真彩屏和獨立按鍵的加入，是為了保證圖像調(diào)試更加方便，使設(shè)計更加快捷、有效。

1.2攝像頭接口設(shè)計

本系統(tǒng)的設(shè)計采用CMOS數(shù)字?jǐn)z像頭，具體圖像傳感器為OmniVision公司生產(chǎn)的OV7620。這款視頻攝像芯片屬于CMOS數(shù)字式彩色與灰度芯片，采用高度集成工藝，擁有640×480的高分辨率可以進(jìn)行隔行或者連續(xù)掃描。該數(shù)字視頻端口支持60Hz的YCrCb4∶2∶2的16bit/8bit格式，ZV端口輸出格式，RGB陣列數(shù)據(jù)的16bit/8bit輸出的格式以及CCIR601/CCIR656輸出的格式。該芯片內(nèi)建SCCB接口給用戶提供了對芯片內(nèi)建功能更加輕松的控制方式。芯片本身自帶10位的雙通道模數(shù)轉(zhuǎn)換器，可以進(jìn)行自動的白平衡以及自動增益控制，可以在γ校正、對比度、亮度和飽和度等方面進(jìn)行調(diào)節(jié)；其視頻時序產(chǎn)生電路能夠產(chǎn)生像素時序以及行的同步、場的同步、混合視頻的同步等數(shù)種時序的信號以及數(shù)種同步的信號[2]。該攝像頭支持VGA和QVGA兩種圖像格式，幀傳輸速率為30f/s(幀/秒)。在電路設(shè)計時預(yù)留了OV7620攝像頭的數(shù)據(jù)、時序接口，具體電路如圖2所示。其中CameD0～CameD7為攝像頭輸出的數(shù)字圖像信號，CamePCLK為像素同步信號，CameH為行中斷信號，CameV為奇偶場信號。由于OV7620默認(rèn)配置完全滿足本系統(tǒng)的設(shè)計，不需要通過SCCB協(xié)議對攝像頭內(nèi)建功能進(jìn)行修改，故未接出SCCB信號SDA和SCL。攝像頭輸出信號的時序如圖3所示。

圖2　攝像頭接口電路

圖3　OV7620讀取像素時序圖

由圖3可知，當(dāng)HREF時序信號在上升沿或下降沿時，表示一行圖像的開始，而在PCLK信號的上升沿發(fā)生時，表示一次像素的傳輸，通過將HREF時序信號接入微控制器外部中斷引腳中，設(shè)置為上升沿或下降沿觸發(fā)中斷方式，而PCLK作為DMA邊沿觸發(fā)信號，便可以對圖像進(jìn)行DMA采集。

1.3USB驅(qū)動電路設(shè)計

由于本系統(tǒng)作為按鍵消息響應(yīng)的從機(jī)，需要通過一定的接口協(xié)議傳輸消息響應(yīng)給主機(jī)。本系統(tǒng)的設(shè)計采用USB接口協(xié)議來實現(xiàn)按鍵消息的主從機(jī)傳輸。雖然MK60DN512VLQ10微控制器內(nèi)部含有USB驅(qū)動模塊，但由USB協(xié)議的設(shè)計可知，USB協(xié)議的硬件驅(qū)動頻率為48MHz的整數(shù)倍，而MK60DN512通過配置PLL鎖相環(huán)倍頻及分頻最終僅有48MHz和96MHz兩種頻率滿足USB通信的要求，但為保證攝像頭數(shù)據(jù)采集頻率足夠，微控制器MK60DN512VLQ10的工作主頻最終需要超頻至150MHz才可以滿足圖像實時采集的要求。因此本工程采用了外接專用USB驅(qū)動芯片PDIUSBD12進(jìn)行USB接口協(xié)議的實現(xiàn)。PDIUSBD12芯片具體電路及使能時序圖分別如圖4和圖5所示。

圖4　PDIUSBD12芯片電路

圖5　PDIUSBD12芯片讀寫時序圖

2軟件系統(tǒng)設(shè)計

本系統(tǒng)的工作過程主要為：在程序開始，首先進(jìn)行系統(tǒng)頻率的初始化，將CPU運行頻率超頻至150MHz，接著進(jìn)行攝像頭的行中斷端口、場中斷端口初始化，以及攝像頭數(shù)據(jù)采集端口輸入/輸出方向的初始化，而后程序初始化PDIUSBD12芯片，設(shè)置其工作模式和工作頻率，而后進(jìn)行USB設(shè)備的枚舉過程，使USB主機(jī)識別并設(shè)置本系統(tǒng)，枚舉成功后，開啟行中斷、場中斷，采集圖像并進(jìn)行圖像處理，圖像特征提取后得出按鍵坐標(biāo)，將其映射為具體按鍵編碼，通過USB消息響應(yīng)發(fā)送至USB主機(jī)。

2.1攝像頭采集圖像流程

本系統(tǒng)最基本的步驟為攝像頭的采集。攝像頭圖像掃描時，將圖像分為奇偶場兩場信號，奇場即采集1，3，5…行的圖像，偶場即采集0，2，4…行的信號，在每一場圖像采集時，攝像頭首先輸出場同步脈沖信號，即VSYNC輸出脈沖信號，該信號脈沖為60Hz。而后在場信號有效后，攝像頭輸出的行基準(zhǔn)信號開始有效，即HREF信號，該信號表明一行圖像采集的開始。在每兩個行基準(zhǔn)信號之間，8bit圖像信號與像素同步信號PCLK一起輸出，每個PCLK的脈沖邊沿均可采集有效信號。而一幅圖像奇偶場信號的確定由ODD來確定，ODD高電平表示當(dāng)前采集為奇場信號，低電平表示當(dāng)前采集為偶場信號，因此ODD輸出為頻率30Hz，占空比50%的高低電平信號?？紤]到本系統(tǒng)對分辨率要求不高，而對內(nèi)存大小要求較為嚴(yán)格，因此本系統(tǒng)采用隔行采點的方式進(jìn)行圖像采集，將ODD奇偶場信號作為行同步信號，ODD信號上升沿作為中斷觸發(fā)信號，即一幅圖像僅采集其偶場信號，便可以達(dá)到隔行采點的目的。而PCLK上升沿作為DMA傳輸觸發(fā)信號，攝像頭輸出8bit圖像信號作為DMA輸入數(shù)據(jù)源，則可以實現(xiàn)DMA采集圖像。由于直接使用攝像頭的默認(rèn)設(shè)置方式可以滿足本系統(tǒng)的使用要求，因此本系統(tǒng)未在初始化采用SCCB協(xié)議對攝像頭進(jìn)行設(shè)置，在初始化時僅初始化DMA采集以及相關(guān)中斷信號的初始化。在本系統(tǒng)中，對圖像采集的步驟為：首先進(jìn)行攝像頭引腳、中斷信號的初始化，而后在場中斷中開啟行中斷，并對行計數(shù)指針清零，而后等待行中斷發(fā)生，在行中斷中初始化DMA采集，并判斷是否采集完一幅圖像，并在采集完所有圖像后，返回圖像數(shù)組指針作為圖像像素的索引。具體采集流程如圖6所示。

圖6　攝像頭圖像采集流程圖

2.2數(shù)字圖像處理流程

由于攝像頭工作過程中，由其選型介紹可知，CMOS攝像頭內(nèi)部由于采用不同放大器對同一行內(nèi)不同像素進(jìn)行放大，放大一致性較差，因此采集圖像噪點較多。而由于攝像頭生產(chǎn)工藝、安裝誤差，以及廣角鏡頭的使用和系統(tǒng)中攝像頭安裝機(jī)械結(jié)構(gòu)中具有傾角等因素，都會造成采集圖像發(fā)生畸變[3]。因此，采用攝像頭進(jìn)行標(biāo)定、校正以及對圖像進(jìn)行濾波等數(shù)字圖像處理技術(shù)非常必要[4]。

本系統(tǒng)采用MATLAB的攝像頭標(biāo)定工具箱(CameraCalibrationToolbox)和圖像處理工具(ImageProcessToolbox)箱進(jìn)行采集圖像的校正、直方圖的獲取、二值化閥值的確定等過程。攝像頭標(biāo)定工具箱是由加州理工大學(xué)開發(fā)，專門用于標(biāo)定攝像頭的圖形界面工具箱。而圖像處理工具箱是MATLAB自帶用于圖像處理的專用工具[5]。

在本系統(tǒng)中，首先通過微控制器串口將圖像傳輸至PC的圖像采集上位機(jī)中，而后將圖像截圖，保存得到原始采集圖像，如圖7所示。而后，將該圖像導(dǎo)入MATLAB的攝像頭標(biāo)定工具箱中進(jìn)行標(biāo)定，得到圖像大概坐標(biāo)的確定，從而將該坐標(biāo)與世界坐標(biāo)進(jìn)行對應(yīng)，具體標(biāo)定如圖8所示。

圖7　攝像頭采集原始圖像

圖8　工具箱標(biāo)定后圖像

由標(biāo)定后圖像，通過攝像頭標(biāo)定工具箱的Calibration可以得出關(guān)于標(biāo)定圖像的若干校正參數(shù)，通過該參數(shù)可進(jìn)行圖像的校正。該工具箱輸出的參數(shù)有：

1)焦距：有效像素的焦距存儲在2×1向量fc中。

2)主點：主點坐標(biāo)存儲在2×1向量CC中。

3)傾斜系數(shù)：傾斜系數(shù)定義為x像素和y像素坐標(biāo)軸的夾角，該角存儲于標(biāo)量alpha_c中。

4)畸變系數(shù)：圖像的畸變系數(shù)(旋轉(zhuǎn)畸變和幾何畸變)存儲于5×1的向量kc中。

對于校正圖像，通過輸出的以上參數(shù)，經(jīng)過以下過程可以得到校正圖像，其中Xc，Yc，Zc是坐標(biāo)點相對于攝像頭的向量，而xn為世界坐標(biāo)投射到攝像頭內(nèi)的投影坐標(biāo)[6]，則有

(1)

設(shè)r2=x2+y2，則換算到的新的世界坐標(biāo)系中由式(2)得到

xn+dx

(2)

式中：dx是幾何畸變向量，具體如式(3)所示

(3)

(4)

這樣，像素坐標(biāo)向量x_pixel與世界坐標(biāo)向量xd則有如下的線性方程

(5)

而KK為攝像頭參數(shù)矩陣[7-8]，且定義為

(6)

由本系統(tǒng)的圖像標(biāo)定，最后得出標(biāo)定參數(shù)如下

fc=[293.668 05303.598 92]

(7)

cc=[159.5119.5]

(8)

(9)

kc=[-0.446 150.101 480.003 98-0.004 530]

(10)

由該參數(shù)最終得出校正圖像如圖9所示。

圖9　校正后圖像

而后將該參數(shù)導(dǎo)入到微控制器中進(jìn)行圖像校正，在圖像處理部分，程序首先將讀取到的圖像進(jìn)行數(shù)字濾波，而后采用MATLAB計算得到的參數(shù)進(jìn)行圖像校正，再通過八連通閉合區(qū)域檢測提取出手指按下后反射的光斑的質(zhì)心坐標(biāo)，將其映射為按鍵編碼[9]。

3系統(tǒng)測試

3.1攝像頭采集圖像設(shè)置

攝像頭上電后，要進(jìn)行圖像采集，而為保證圖像采集正常，最直觀的辦法是進(jìn)行攝像頭采集圖像的顯示，在本系統(tǒng)的調(diào)試中，采用將圖像實時顯示在TFT屏上的辦法來測試攝像頭采集是否正常。

測試方法：在攝像頭下方擺放特定的圖案，使攝像頭正常工作進(jìn)行采集，將采集到的圖像顯示在TFT顯示屏上。測試結(jié)果如圖10所示。

圖10　攝像頭采集圖像測試

測試結(jié)果：攝像頭可以正常工作，且采集圖像效果良好。

3.2系統(tǒng)測試

軟硬件測試系統(tǒng)正常后，本文最終對整個系統(tǒng)進(jìn)行測試，將該系統(tǒng)連接USB主機(jī)—PC進(jìn)行功能測試，確定其是否達(dá)到設(shè)計最初的目的和功能。最終測試結(jié)果如圖11所示。

圖11　系統(tǒng)測試圖

最終，本系統(tǒng)可以正常與USB主機(jī)枚舉成功并由USB主機(jī)正確識別為USB鍵盤類設(shè)備，且通過用戶在投影圖案上進(jìn)行操作，可以使系統(tǒng)準(zhǔn)確識別按鍵消息并將其正常、及時地返回到USB主機(jī)中，實現(xiàn)作為鍵盤的目的[10]。最終測試表明，本系統(tǒng)可以較好地完成激光投影鍵盤所承擔(dān)的任務(wù)，達(dá)到激光投影鍵盤的目的。

4結(jié)束語

作為便攜式設(shè)備進(jìn)行辦公、工作匯報等大批量文字輸入的情況下，激光投影虛擬鍵盤能夠?qū)崿F(xiàn)準(zhǔn)確的按鍵信息發(fā)送，可以全部實現(xiàn)傳統(tǒng)鍵盤的功能，同時在機(jī)械結(jié)構(gòu)的優(yōu)化，體積便攜性方面都有很大的提升。

參考文獻(xiàn)：

[1]蔡睿妍.激光虛擬鍵盤的設(shè)計與實現(xiàn)[J].激光與紅外，2012，42(8)：875-878.

[2]OmniVision.OV7620Single-chipCMOSVGAcolordigitalcamera[EB/OL].[2015-12-06].http://joule.bu.edu/～hazen/Rockets/Cam/DS-OV7620-1.3.pdf.

[3]BRADSKIG，KAEHLERA. 學(xué)習(xí)OpenCV(中文版)[M]. 北京：清華大學(xué)出版社，2009.

[4]張金，成媛媛，李洋.一種基于虛擬鍵盤圖像坐標(biāo)變換的幾何失真校正方法[J].計算機(jī)應(yīng)用與軟件，2012，29(6)：84-88.

[5]RAFAELCG. 數(shù)字圖像處理(MATLAB版)[M]. 北京：電子工業(yè)出版社，2014.

[6]范勇，張佳成，陳念年.圖像幾何畸變校正方法[J].計算機(jī)工程與應(yīng)用，2009，45(29)：194-197.

[7]賈洪濤，朱元昌.攝像機(jī)圖像畸變糾正技術(shù)[J].電子測量與儀器學(xué)報，2005，19(3)：46-49.

[8]朱錚濤，黎紹發(fā).鏡頭畸變及其校正技術(shù)[J].光學(xué)技術(shù)，2005，31(1)：136-138.

[9]胡君.一種快速求圖像目標(biāo)質(zhì)心的方法[J].光學(xué)精密工程，1998，6(5)：19-25.

[10]段宗濤，沙愛民，張燕妮.高性能嵌入式圖像處理系統(tǒng)研究[J].微電子學(xué)與計算機(jī)，2008，25(6)：38-41.

王久鵬(1988— )，碩士生，主研物聯(lián)網(wǎng)技術(shù)、嵌入式技術(shù)；

漆晶(1983— )，講師，主要研究方向為智能圖像處理、物聯(lián)網(wǎng)技術(shù)、嵌入式技術(shù)等；

王小平(1973— )，教授，主要研究方向為物聯(lián)網(wǎng)技術(shù)、寬帶信息網(wǎng)、NGN網(wǎng)絡(luò)等。

責(zé)任編輯：閆雯雯

Researchanddesignoflaserprojectionvirtualkeyboard

WANGJiupeng,QIJing,WANGXiaoping

(Mobile Communication Technology Key Lab., Chongqing University of Posts and Telecommunications, Chongqing 400065, China)

Abstract:According to the actual demand of the laser projection keyboard, combined with embedded technology and image processing technology, the study design a set of laser projection virtual keyboard devices. The hardware module based on ARM Cortex-M4 architecture microprocessor as the main controller, using digital CMOS camera; and the processing of software module using MATLAB to process the digital image processing and the results are introduced into the microcontroller. After the hardware and software design of the system, the function of the whole system is tested, and the results show that the system can achieve the expected goal.

Key words:laser projection technology; digital image processing; USB equipment development

中圖分類號：TN911.73

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.04.007

基金項目：重慶市教育委員會項目(KJ1500433)；重慶市教育委員會2014年大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目

作者簡介：

收稿日期：2015-12-10

文獻(xiàn)引用格式：王久鵬，漆晶，王小平. 激光投影虛擬鍵盤的研究與設(shè)計[J].電視技術(shù)，2016，40(4)：32-37.

WANGJP,QIJ,WANGXP.Researchanddesignoflaserprojectionvirtualkeyboard[J].Videoengineering，2016，40(4)：32-37.