手勢控制技術在汽車上的應用

合肥職業技術學院（238000 ）　徐　彬

手勢控制技術在汽車上的應用

合肥職業技術學院（238000 ）徐彬

現在，各個汽車廠商在動力和排量之間的差異已經不再明顯，而科技化的個性功能——車載互聯、操作系統及各種科技元素是汽車廠商吸引消費者的重要手段之一。手勢控制在人們日常生活中的應用越來越廣泛，比如說手勢控制電腦、手勢控制電視，還有更加智能的是利用手勢控制攝像頭來隔空玩游戲。目前，手勢控制是繼語音控制之后另一項受到許多汽車廠商追捧的技術，手勢控制可以讓駕駛人在駕駛時簡單地揮揮手或做出幾個動作就能對車載功能進行控制，與語音控制相比，準確率更高，同時也更方便，畢竟有些人覺得語音控制汽車系統，尤其是在有其他乘客時非常尷尬。手勢控制汽車就是通過車載攝像頭識別特定手勢，以此來替代汽車儀表盤上的各種旋鈕和按鈕。手勢控制的最大優勢就是可簡化操作，讓駕駛人可更加快捷地實現各種操作。

1　手勢識別技術

手勢控制的核心是手勢識別技術，就目前的技術而言，大多數手勢識別采用的是計算機視覺技術。手勢識別技術由簡單粗略的到復雜精細的，大致可以分為二維手型識別、二維手勢識別和三維手勢識別3個等級。二維只是一個平面空間，可用X坐標、Y坐標組成的坐標信息來表示一個物體在二維空間中的坐標位置，就像一幅畫出現在一面墻上的位置。而三維則是在此基礎上增加了“深度”（Z坐標）的信息，這里的“深度”并不是現實生活中所說的那個深度，這個“深度”表達的是“縱深”，理解為相對于眼睛的“遠度”也許更加貼切，就像是魚缸中的金魚，它可以在你面前上下左右游動，也可能離你更遠或者更近。前兩種手勢識別技術，完全是基于二維層面的，只需要不含“深度”信息的二維信息作為輸入即可，就像拍照所得的相片一樣，只需要使用單個攝像頭捕捉到的二維圖像作為輸入，然后通過計算機視覺技術對輸入的二維圖像進行分析，獲取信息，從而實現手勢識別。而第三種手勢識別技術，是基于三維層面的，三維手勢識別與二維手勢識別的最根本區別就在于，三維手勢識別需要的輸入是包含有“深度”的信息，這就使得三維手勢識別在硬件和軟件兩方面都比二維手勢識別要復雜得多，當然三維識別也能夠識別更多的動作。對于一般的簡單操作，比如只是想在播放視頻時暫停或繼續放映，二維手勢識別就足夠了，但對于一些復雜的人機交互，則只能采用三維手勢識別技術。

1.1二維手型識別

二維手型識別也可稱為靜態二維手勢識別，識別的是手勢中最簡單的一類。這種技術在獲取二維信息輸入之后，可以識別幾個靜態的手勢，比如握拳或者五指張開，其代表公司是被Google收購的Flutter。在使用其軟件后，駕駛人可以用幾個手型來控制播放器，將手掌舉起來放到攝像頭前，視頻就開始播放；再把手掌放到攝像頭前，視頻就暫停播放。“靜態”是這種二維手勢識別技術的重要特征，這種技術只能識別手勢的“狀態”，而不能感知手勢的“持續變化”，舉個例子來說，如果將這種技術用在猜拳上的話，它可以識別出石頭、剪刀和布的手勢狀態，但對除此之外的手勢，便一無所知。因此這種技術說到底是一種模式匹配技術，通過計算機視覺算法分析圖像，和預設的圖像模式進行比對，從而理解這種手勢的含義。這種技術的不足之處顯而易見——只可以識別預設好的狀態，拓展性差，控制感很弱，駕駛人只能實現最基礎的人機交互功能。

1.2二維手勢識別

二維手勢識別，比起二維手型識別來說稍難一些，但仍然停留在二維的層面上，基本不含“深度”信息。這種技術不僅可以識別手型，還可以識別一些簡單的二維手勢動作，比如對著攝像頭揮揮手，其代表公司是來自以色列的PointGrab、EyeSight和ExtremeReality。二維手勢識別擁有了動態的特征，可以追蹤手勢的運動，進而識別將手勢和手部運動結合在一起的復雜動作。這樣就把手勢識別的范圍真正拓展到二維平面上了，駕駛人不僅可以通過手勢來控制計算機播放/暫停，還可以實現前進、后退、向上翻頁、向下滾動這些需求二維坐標變更信息的復雜操作。這種技術雖然在硬件要求上和二維手型識別并無區別，但是得益于更加先進的計算機視覺算法，可以獲得更加豐富的人機交互內容。在使用體驗上也提高了一個檔次，從純粹的狀態控制變成了比較豐富的平面控制。

1.3三維手勢識別

當今手勢識別領域的重頭戲是三維手勢識別。三維手勢識別需要的輸入信息包含有“深度”的信息，可以識別各種手型、手勢和動作。相比于前兩種二維手勢識別技術，三維手勢識別不能再只使用單個普通攝像頭，因為單個普通攝像頭無法提供“深度”信息。要得到“深度”信息需要特別的硬件，目前世界上主要有3種硬件實現方式——光飛時間（Time of Flight）、結構光（Structure Light）、多角成像（Multi-camera），再加上新的先進的計算機視覺軟件算法即可實現三維手勢識別。下面闡述三維手勢識別的三維成像硬件原理。

1.3.1光飛時間（Time of Flight，簡稱ToF）三維手勢識別

光飛時間（ToF）是SoftKinetic公司所采用的技術，該公司為業界巨鱷Intel提供帶手勢識別功能的三維攝像頭，同時，這一硬件技術也是微軟新一代Kinect所使用的。光飛時間的基本原理是加載一個發光元件，發光元件發出的光子在碰到物體表面后會反射回來。使用一個特別的CMOS傳感器來捕捉這些由發光元件發出、又從物體表面反射回來的光子，就能得到光子的飛行時間。根據光子飛行時間進而可以推算出光子飛行的距離，也就得到了物體的“深度”信息。就計算上而言，光飛時間是三維手勢識別中最簡單的，不需要任何計算機視覺方面的計算。由于光的傳播速度非常快，基于ToF技術的感光芯片需要飛秒級的快門來測量光飛行時間，這也是ToF技術難以普及的原因之一，因為這樣的感光芯片成本過高。利用ToF技術進行手勢控制，需要一個3D攝像頭進行配合，攝像頭的用處是監控并識別手勢變化。攝像頭內置有紅外LED光發射裝置與接收裝置，根據光線發射與接收之間的時間差來分析出手勢的變化。最終得到的數據會傳遞給車載系統的控制單元，由控制單元調出與識別出的手勢相對應的功能。

當然，還有一種方式是將光脈沖改為無線電波，極高頻毫米波無線電波也同樣可以用來捕捉動作、距離、速度等信息，感應誤差精細到毫米。然而，如何把具有如此精度的設備微小化是一件十分艱難的事情，最難的地方在于微小化會影響器件的發射功率和效率、感應靈敏度等。

1.3.2結構光（Structure Light）三維手勢識別

結構光技術的基本原理與ToF技術類似，所不同之處在于其采用的是具有點、線或面等模式圖案的光。結構光的代表應用產品是PrimeSense公司為微軟家XBOX 360所做的Kinect一代。結構光技術的基本原理是，加載一個激光發射器，在激光投射器外面放一個刻有特定圖樣的光柵，激光通過光柵進行投射成像時會發生折射，從而使得激光最終在物體表面上的落點產生位移。也就是說，激光發射器將結構光投射至前方的人體表面，再使用紅外傳感器接收人體反射的結構光圖案，然后，處理芯片根據接收圖案在攝像機上的位置和形變程度來計算物體、人體的空間信息。當物體距離激光發射器比較近時，折射而產生的位移較小；當物體距離激光發射器較遠時，折射而產生的位移會相應變大。這時使用一個攝像頭來檢測采集投射到物體表面上的圖樣，通過圖樣的位移變化，就能用算法計算出物體的位置和“深度”信息，進而復原整個三維空間，即可進行三維物體的識別。以Kinect一代的結構光技術來說，因為依賴于激光折射后產生的落點位移，因此在太近的距離上，折射導致的位移尚不明顯，使用該技術就不能太精確地計算出“深度”信息，所以1 m～4 m是其最佳應用范圍。

1.3.3多角成像（Multi-camera）三維手勢識別

多角成像這一技術的代表產品是Leap Motion公司的同名產品和Usens公司的Fingo。多角成像技術與立體成像技術相同，這種技術的基本原理是使用2個或2個以上的攝像頭同時攝取圖像，就好像是人類用雙眼、昆蟲用多目復眼來觀察世界，通過比對這些不同攝像頭在同一時刻獲得的圖像的差別，使用算法來計算“深度”信息，從而多角三維成像。這里以2個攝像頭成像來簡單說明其原理，雙攝像頭測距是根據幾何原理來計算“深度”信息的。如圖1所示，使用2臺攝像機對當前環境進行拍攝，得到2幅針對同一環境的不同視角照片，實際上就是模擬了人眼工作的原理。因為2臺攝像機的各項參數及它們之間相對位置的關系是已知的，只要找出相同物體（楓葉）在不同畫面中的位置，便能通過算法計算出該物體（楓葉）距離攝像頭的“深度”。

圖1　采用2臺攝像機的多角成像基本原理

多角成像是三維手勢識別技術中硬件要求最低，但同時也是最難實現的。多角成像不需要任何額外的特殊設備，完全依賴于計算機視覺算法來匹配2張圖片里的相同目標。相比于結構光或光飛時間這兩項技術成本高、功耗大的缺點，多角成像能提供“價廉物美”的三維手勢識別效果。

2　手勢控制技術在汽車上的應用舉例

圖2　2016款寶馬7系轎車手勢控制功能示例（1）

2.12016款寶馬7系轎車手勢控制與iDrive、聲控相結合

2016款寶馬7系轎車首次帶來了手勢控制功能，如圖2和圖3所示，駕駛人只需要通過在中控臺前方的區域做出相對應的固定手勢，iDrive系統就會做出相應的回應，該功能也是業界首次應用在量產車型上，可以說開創了該領域的先河。寶馬將手勢控制與iDrive、聲控相結合，形成了更全面的車內操作環境。在操作過程中，系統會幫助駕駛人提示用何種手勢來實現控制。另外，在新寶馬7系轎車的后排還有智能觸控系統，在后排中央扶手上配備了三星的Android系統平板電腦，它采用可拆卸設計，能取下來拿在手上操作，可以連接車輛系統并提供全面的操作和設置選項，例如可用它來調節后座和前排乘客座椅，還可操作后排空調、通風、座椅加熱，以及車內氛圍燈、玻璃天窗、百葉窗、娛樂功能等。

圖3　2016款寶馬7系轎車手勢控制功能示例（2）

2.2捷豹路虎車手勢反饋觸控

捷豹路虎投資了一家名為UltrahapatICs的創業公司，該公司擁有一項名叫ULT003 Mid-air Touch的超酷手勢控制技術，該項技術最有趣的一點在于，當你在空中做出觸控操作，手可以感受到類似操控物理按鈕的觸覺反饋。這項技術在觸控區域有一個超聲波發射設備，通過氣壓變化，在某個特定位置匯聚幾個聲波高壓點，就能生成一個“摸得著、看不見”的界面。如圖4所示，只要手在一個有效范圍內運動，設備就會追蹤到手部位置變化，在合適的位置憑空“捏造”出一個虛擬的三維立體物件，也可以是一個“旋鈕”或“按鍵”。和一般觸控操作相比，按鈕會根據手的位置同步移動，沒有傳統手勢控制中看著屏幕尋找觸控點位的需要。而且使用者能夠通過觸摸獲得具體信息，手部可以真實感受到按鈕的按鍵力、觸摸到平面的質感，對操作效果的判斷會有實在的觸覺反饋。

圖4　捷豹路虎車手勢反饋觸控

2.3德爾福手勢控制系統

德爾福利用光飛時間（ToF）原理，開發了自己的手勢識別系統，如圖5所示，德爾福將紅外線攝像頭安裝在車輛頂部的一個罩襯之內（通常用來放太陽鏡），能夠檢測出中央扶手、換擋桿到中控屏幕這個范圍之內（也就是在腰部到肩部之間的位置）的手勢動作。如圖6所示，德爾福對這套手勢控制系統預設了以下動作（攝像頭位于上方，從上往下看），駕駛人坐在車中，只需通過簡單的手、臂動作，就能完成對車內信息娛樂系統的調節和控制。

圖5　德爾福手勢控制實現原理

圖6　德爾福對手勢控制系統預設的動作

（1）手掌張開向右揮動：掛斷電話或者取消操作。

（2）單指前后移動：接聽電話、選擇或確定提示。

（3）兩根手指不動（V形手勢）：暫停/播放音樂、自定義操作。

（4）一根手指順時針轉動：增大音量、縮小導航地圖。

（5）一根手指逆時針轉動：減小音量、放大導航地圖。

（6）五指收攏成圈，向右移動：下一曲，回到主菜單。

（7）五指收攏成圈，向左移動：上一曲，回到主菜單。

整套動作簡單流暢，形同捕風，根本無需動用駕駛人的眼睛，也并不會分散駕駛人的注意力，駕駛人可以專注于駕駛以提升行車安全。汽車制造商在實際配置時，可以直接使用定義好的手勢，也可根據不同市場的文化與習慣進行修改或新增。

德爾福在法蘭克福車展上推出的手勢控制技術在舊有手勢控制的基礎上作了多項改進，其將語音識別、眼神控制、手勢控制和觸摸等多種模式整合在一起，為駕駛人提供了一整套多功能交互解決方案。

2.4微軟專為汽車環境設計的手勢控制專利

微軟作為互聯網巨頭，在車載系統的手勢控制上也有自己的思考，而實現這一切的僅僅是一個攝像頭。在微軟申請的一項專利中，由三位研究人員搭建了汽車娛樂信息系統的手勢控制系統，但這些控制動作和常見的抬手、滑動、旋轉完全不同，其手勢控制動作更加具象化。如圖7所示，食指抵住嘴唇表示調低手機外放音量，手張成喇叭狀表示使用手機撥打電話，類似思考著的攥下巴動作則表示“我想檢索信息”，而點贊動作代表“同意”操作。使用該系統時，需要把智能手機放在儀表盤上方，用手機的內置攝像頭來捕捉車內人的手勢和體態動作，而背后支持這項功能的則是圖像識別技術。在軟件層面，三位研究人員對系統的設定是手勢控制搭配語音識別一起使用，后者在車內人機交互中更為常見。微軟在與豐田合作的Smart Insect概念車中已經通過車內前裝攝像頭實現了前裝版本的手勢控制功能。所有手勢恢復了常規的抬起落下，多數用來操作車內的二級控制功能，例如娛樂信息系統、導航或撥打與車機連接的手機等。

圖7　微軟為汽車環境設計的手勢控制專利舉例

2.5谷歌手勢控制

作為無人駕駛汽車的先驅者，谷歌在手勢控制技術方面研究頗深，乘客可以利用手勢向車載計算機發出與行車方向相關的命令，不過谷歌也表示，在目前，仍需要駕駛人來控制轉向盤的時代，手勢識別將會是最有用的。在谷歌列出的可以通過手勢控制的功能清單（圖8）中，包括地點導航、調整車內溫度、調整車載音樂音量、選擇歌曲、調整座椅位置及改變巡行控制系統的速度等。駕駛人可在一定區域（如轉向盤、空調出風口等）內進行手勢操作，另外，車內乘客也可以通過手、胳膊、腿部和頭部等部位做出任何手勢控制。在窗戶附近的區域內做出掃手的動作，機動車會確定動作幅度，進而根據手勢幅度決定車窗打開的程度；在轉向盤附近打響指就可開啟刮水器或是指示燈；在汽車儀表盤前扭動手腕就可以打開空調或收音機；手指向天窗，天窗就會自動開啟。

圖8　谷歌手勢控制

2.6福特手勢控制系統

福特手勢識別系統中，用攝像機獲取信息識別用戶的指令后，用戶可拉取1根虛擬的線或是利用手勢控制風窗玻璃上的平視顯示器來打開天窗，通過拇指朝上或朝下動作來確認手勢指令。另外，一旦汽車識別駕駛人手勢，一整套個性化功能就會成為駕駛人的預設裝置，比如自動調節車內溫度，當車內坐滿時，駕駛人旁邊的窗戶會自動半開。利用駕駛人前方的攝像頭對駕駛位的人臉掃描，判斷是否為認證駕駛人，有沒有啟動車載系統的權限。陌生人在做出進一步操作時，車主手機會收到車內人的正面圖片，可以在手機端授權。已經獲得認證的駕駛人除了可以開啟車機系統等一系列功能外，還可以調用系統中保存的個性化設置。

2.7大陸手勢控制技術

德國大陸集團正在研發智能紅外線技術——“紅外線簾幕”，以便未來將控制設計應用在面向大眾消費市場的車型上。如圖9所示，紅外觸摸屏的觸摸檢測部件位于屏幕外部的電路板外框，上面對向排列著紅外發射管和接收管。當縱向排布足夠密的平行光束后，就在屏幕上方形成了“紅外簾幕”。單排LED足以用于單個手指操作，使用觸控屏幕時，手指便擋住了所在點位的紅外光線，接收管感應到光線阻礙后，識別手指位置并反映為電信號。控制器將前者采集的電信號變化經過轉換變為數字量的變化，通過分析和算法處理，得出觸摸點的位置數據。大陸集團顯示技術研發人員表示，可以將車內的任何表面變成用戶界面，識別多點觸控手勢，比如拖動、縮放等。大陸集團的觸控紅外屏使用了X、Y橫縱軸發射紅外線的方式，比單點觸控紅外屏增加垂直軸。二維紅外光束連接起來，在整個屏幕上方形成紅外柵格。當多手指操作時，觸摸點就解碼為多個坐標傳送給控制器處理，實現多點觸控的功能。有了這項技術，整個人機交互過程可以識別類似縮放等動作。在選擇菜單上移動更加容易，改變地圖上的選項也會更方便。

圖9　德國大陸集團智能紅外線技術——“紅外線簾幕”

2.8偉世通Horizon概念座艙技術

作為全球知名的汽車零部件供應商，偉世通也發布了一款概念座艙設計，展示了3D手勢控制對于汽車內環境的影響。Horizon座艙（圖10）概念通過融合3項新興技術，改變駕駛人對于車內溫度、音響及導航等功能的控制方式。

（1）手勢控制。Horizon座艙利用先進的攝像系統通過拍下用戶的手部動作，虛擬手形復制在中控面板上，由此，置身于Horizon座艙內的駕駛人只需移動手部甚至是手指，而無需接觸儀表盤，就可輕松操作特定的車輛控制裝置，例如，用一只手做出旋轉動作就可調節收音機的音量。

（2）虛擬觸摸屏技術。通過搭載壓敏型觸控板，駕駛人無需真正觸碰到中控面板上的控制裝置就可實現操作。觸摸屏可通過識別對其施加的壓強大小提高其響應性。同時，該觸摸屏可加載于任何軟質材料（諸如真皮或布料）中實現操作，最大程度地實現組裝的靈活性。

圖10　偉世通Horizon概念座艙技術

（3）雙層顯示屏。信息通過高分辨率圖像顯示在2個獨立但重疊的顯示屏面上，并重點顯示駕駛人正在操控的那些信息。駕駛人似乎可以“穿越”第1個顯示屏上的圖像，立即觀察到第2個顯示屏所顯示的內容。

偉世通利用其在人機交互（HMI）領域的專長將這些技術融為一體，為駕駛人打造出獨一無二的駕駛環境。

2.9隔空手勢喚醒

圖11　隔空手勢喚醒

目前，大多數的車載觸屏在長時間無操作情況下會自動進入休眠狀態，而如果要喚醒顯示屏則需要觸摸顯示屏，而現在則無需直接接觸，僅需要將手或手指放置在觸摸屏附近便可喚醒觸摸屏，比如凱迪拉克旗下的科爾維車所配備的觸摸屏就支持此類附近喚醒觸摸屏技術。另外，各大汽車零部件公司都在研究開發提高附近喚醒觸摸屏技術的喚醒距離限制。其中，Cypress半導體公司開發的CapSense觸摸屏傳感器探測距離可達到0.3 m，通過采用CapSense觸摸屏，駕駛人便可以通過手勢向上、向下甚至翻頁控制中控顯示系統，而無需分心。

2.10手勢調整座椅

駕駛人每次上車時都需要不斷地調整座椅的前后和方向，非常麻煩。Fraunhofer Institute研究所開發的名叫SILicate Research ISC的座椅（圖12），其側面并沒有常見的按鈕和調節桿，無法通過手動控制。相反，在座椅的下面隱藏了一系列的傳感器，可以檢測出上面是否坐人以及駕駛人的手勢。當需要開始調整時，駕駛人只需將手放到特定的區域激活系統，能夠用手勢來控制座椅，只要手簡單地在上面滑動，即可像操作智能手機一樣操作汽車座椅。無論是想要將座位向前或向后、調整角度或者增高或降低對腿部的支持，駕駛人只需要在座椅的側面用手勢進行控制即可，且一旦座椅調整完畢，各種角度和位置的參數會被保存到座椅中，這樣即便是多位駕駛人駕駛同一輛車，也可以通過簡單的觸控切換成自己最喜歡的角度位置。

圖12　手勢調整座椅

雖然手勢控制被許多汽車廠商和科技公司所看好，但是目前還存在許多問題。比如，一旦手勢控制效果不理想，就會讓駕駛人更加分心，從而增加造成事故的概率；如果關聯操作對于車內距離的判斷不夠準確，也會導致控制目標的判斷錯誤，譬如是只想把音量調低幾格，卻不小心打開了刮水器；同一目標物的不同指令動作間需要建立明顯區隔，起止動作的設置也存在復雜的邏輯關系。因此，未來想要讓手勢控制技術在更多的車型上普及，似乎還需要提高精度及平滑度，真正實現讓駕駛人更安全、更方便開車的目的。

（2016-03-10）