手勢交互技術在虛擬文創產品展示設計的應用*

(武漢設計工程學院,湖北武漢 430072)

1 文化創意產品

文創就是文化創意,當今時代已經處于經濟飛速發展的階段,它已經不是單一的個體產業,而是經過多年的沉淀,發展稱為一個超強綜合體產業,因此也被稱為文化創意產業。伴隨著近年來的消費升級、居民生活的改善、人們對于娛樂休閑活動的追求也隨之上升,從而使得我國的文化創意產業也進入快速發展的新時期。它依托文化或文化元素為母體,通過個人或者多人創意公開銷售的一種形式,可以延伸到各行各業,包括影視、動畫、游戲、公共建設、服裝、廣告、飲食,從而讓人領略文化的魅力。根據數據顯示,2020年全國規模以上文化及相關產業企業實現營業收入98514億元,比2019年增長2.2%。然而傳統文創產品生產到展示這種閉環過程必須經過策劃—設計—定制—成品這一系列環節,但這往往需要消耗大量的時間、人力、物力成本,如何縮短這一過程的成本消耗一直是一個需要思考解決的問題。

文創產品最終是為消費者服務的,把消費者作為文化創意設計的視覺中心,針對他們量身定做所需要的設計方法和創意,這樣設計出來的創意作品必然會受到特別的青睞,造成足夠的影響力和購買力,并且伴隨科技手段的日益滲透,文創產品的體驗感將更加吸引消費者的參與,實現“我”的自由取用,改進了傳統的表現形式,使得文創產品的創作突破緯度的禁錮,從平面走向立體,從立體走向共感,全新的體驗方式讓文化創意產品改變過去的被動輸入,主動輸出才是為文化創作找到自己的全新的思路[1]。

2 手勢交互技術

如果提到手勢交互必然離不開人機交互這一術語,通過計算機輸入、輸出設備,以有效的方式實現人與計算機對話,人與計算機之間使用某種對話語言,以一定的交互方式,為完成確定任務的人與計算機之間的信息交換過程。而手勢交互技術則將手勢作為對話語言的替代,跟蹤人類手勢、識別其表示和轉換為語義上有意義的命令的整個過程,稱之為手勢交互識別。其研究旨在將設計和開發可以將用于設備控制的手勢識別為輸入并且通過將命令映射為輸出的系統。一般而言,從手勢交互信息采集的途徑是有兩種:接觸式及非接觸式的,因此可將手勢交互系統劃分為基于接觸式的傳感器和基于非接觸類的傳感器的兩類。基于接觸式傳感器的手勢識別通常基于使用多個傳感器的數據手套、加速度計、多點觸摸屏等技術。而基于非接觸式傳感器的手勢識別通常基于使用光學傳感、雷達探測等技術[2]。

2013年2月,Leap體感控制器制造公司發布了面向PC電腦及蘋果電腦MAC的體感控制器Leap Motion。它所倡導的三維空間交互與現今較為主流的虛擬現實技術可謂完美結合,利用雙目立體視覺成像原理,通過兩個攝像機來提取包括三維位置在內的信息進行手勢的綜合分析判斷,這種應用于立體視覺的測量方法,被稱為三角測量法。它是用于定位目標空間位置最常用和最基本的方法,如同人眼一樣,能夠對空間物體進行坐標定位,包括手指(及手持物)的運動、手掌的運動、手掌球(能夠模擬手的弧面的一種球體,包含球心位置和球半徑信息)三種。在Leap Motion控制器的雙攝像頭基線距離固定后,就可以進行設備校準。校準后的控制器可以精確計算出目標相對于攝像頭的空間坐標。再通過已建立后的手部立體模型,能實現靈活而簡便的抓取虛擬場景的物體,并通過相對運動生成平移、旋轉和縮放信息[3-4]。

3 虛擬文創產品展示中應用手勢交互技術的實現

結合服務設計理論,引入手勢交互技術能給文創產品展示領域帶來一個以往不同創新的發展模式,通過使用Leap Motion控制器作為手勢輸入接口,根據Leap Motion獲取的手部幾何數據,研究通過手勢交互的方式,便捷地、高效地與文創產品三維模型進行交互[5]。

3.1 虛擬文創產品三維建模

虛擬文創產品展示平臺最終還是要以文創產品展示作為輸出,因此為了反映文創產品全貌,利用三維軟件建模技術實現對文創產品再現。傳統三維軟件建模方法包含有第一、基本體建模,這也是最簡單的建模方法,通過對內置的幾何體的移動、旋轉、縮放等操作,完成模型的建立。第二、二維線建模,通過調節二維線的頂點及線段的參數,可以生成較復雜的二維圖形,再此基礎上又可以生成三維模型。第三、多邊形建模,可以說是最為復雜的建模方法,通過對頂點、邊、面、多邊形和元素編輯的方式對模型進行塑形,完成結構的創作,最終完成模型的建立。第四、網格建模,與多邊形建模相似,也是一種基于子對象進行編輯的建模方法,包含頂點、邊、面、多邊形和元素5種,區別在與編輯的對象主要是三邊面,而多邊形建模往往是三邊形、四邊形或者更多邊的面。第五、NURBS 建模,是一種專門做曲面建模的方法,通過曲線的控制點調節曲線曲率、方向、長短等,再由這些曲線生成曲面,從而完成曲面造型及特殊造型。基本現在主流三維建模軟件都采用以上建模方法。而虛擬文創產品則利用 3Ds Max軟件來進行三維建模。3Ds Max是Autodesk公司出品的世界頂級的三維軟件之一,功能強大,自誕生之日開始,就深受使用者的喜愛,在模型塑造、場景渲染、動畫及特效等方面都做出高品質的內容,在影視動畫、虛擬現實、產品造型、游戲設計等多個領域中占據主導地位,在模型構建中,充分利用3Ds Max所提供的建模方法,完成虛擬文創產品模型的建立,操作靈活,可控性強,視覺領域的表現力是十分突出,這也是虛擬產品造型的重點[6]。

3.2 手勢交互技術的引入

為了將文創產品三維建模進行實時展示同時進行同步手勢交互,借助于Unity引擎仿真手模型,它擁有較高的精細度,并且自帶動畫,在此基礎上借助Leap Motion控制器進行手部的控制。為什么會選擇這種技術方案?主要原因如下:第一,Leap Motion控制器主要功能是識別高精度、低延遲的手指運動,通過使用Leap Motion控制器作為手勢輸入接口,根據Leap Motion獲取的手部幾何數據,研究通過手勢交互的方式,便捷地、高效地與文創產品三維模型進行交互方法。通過操作確定了手勢相關的特征數據,并且包含移動和旋轉的手勢數據,預估手勢輪廓的位置,在此條件下對跟蹤目標進行重定位,通過從Leap Motion控制器可以對模型進行平移、縮放、旋轉等操作功能,同時為了避免模型和手勢的不貼合,計算出對模型的變換量,并使用變換量對模型進行相應的變換功能。對其做相應的改進和重置,讓模型更加貼合手勢。第二,為了手勢輪廓能,更好的完整的提取和分離,引用了混合卡爾曼濾波和粒子濾波方法對獲取的手勢數據進行處理與優化,作為基于視覺的手勢識別系統的構建模塊的大多數完整的手部交互機制包括三個基本階段:檢測,跟蹤和識別。手的檢測和相應圖像區域的分割是手勢識別系統的首要任務。這種分割至關重要,因為它將任務相關的數據與圖像背景分離開來,然后再將其傳遞到后續跟蹤和識別階段。這些方法利用幾種類型視覺特征的組合來檢測手部。這些特征可以是手的膚色、形狀和運動等。對于手勢的跟蹤則采取預測和重定位的形式,在以往的實驗中證明,部分人采用光流法補幀這種算法進行跟蹤,但由于其易受環境的影響,效果并不明顯,因此采用基混合卡爾曼濾波和粒子濾波方法,能突破一定環境的局限性,具備可操作性和靈活性,達到對預估手勢位置的準確性,實現基于運動軌跡信息的動態手指姿勢的識別[7]。

4 結語

傳統文化創意作品演示過程通常先是設計者完成個人創作,然后作品被設計完成后運送到展示空間之中去。其創作的環境、材料、工具、形式,文化內涵表現都受到一定的限制,并且與設計者的初衷存在一定的差異,這可以稱為傳統展示設計方式所存在的局限性。而虛擬文創產品展示平臺通過Leap Motion傳感器獲取的手部幾何數據,研究通過手勢交互技術能夠便捷地、高效地與虛擬文創產品進行交互的方法。通過虛擬三維文創作品模型的展示改變瀏覽者的操作任務,將文創產品其他部分的運轉狀態顯示出來,瀏覽者雖然不能直接接觸到這些實物模型,但是通過交互技術就能知道這些關鍵產品的信息。手勢交互技術的介入可以用于提供給設計者實時展示文化創意設計作品、提供給瀏覽者了解設計作品、提供給設計者和瀏覽者查看關聯于文創作品的第一反饋信息以及提供給用戶查看關聯于其他文化創意作品的第二反饋信息。借助現代計算機和其強大的顯示功能,用戶可以清晰看到某物體的真實狀態,建立起適當的心理模型,簡化操作和理解過程。改變傳統文創產品展示過程必須經過策劃—設計—定制—成品單一閉環鏈條環節,將傳統設計模式引入新型科技手段,兩者融合是文化創意產業的一個新的趨勢,是文創企業做大做強、傳統產業改造提升,瀏覽者不再是被動觀看作品的接受者,也可以作探索文創作品的主動者,所作出的行為能夠影響到文化創意作品,使這些作品能夠感受變化,從而產生更深刻地認識,凸顯了人文價值。