基于Kinect圖像識別的翻書機設計*

，，，

(吉林大學 儀器科學與電氣工程學院，長春 130026)

引 言

目前，國內外已經有了翻書結構的設計方案，例如日本的BOOKTIME5000型翻書機、美國Michael Donald Banks[1]的Page Turner、燕山大學武岳[2]等人研究的全自動可調式翻頁機構及大連交通大學董云美[3]等人研究的腳踏式翻書機構。但是上述的翻書機普遍具有結構復雜、成本高等缺點，同時他們通過直接接觸、頭戴設備等方式獲取用戶指令的方式缺乏人性化設計，無法真正地滿足特定人群的需求。本文研制的這一款翻書機彌補了上述多種傳統翻書機的缺陷，充分利用當下先進的計算機技術，在簡化翻書機機械結構的同時優化了用戶指令的獲取方式，提高了用戶的使用體驗，實現了低成本、高性價比等目標。

1 整體設計

本文所設計的基于Kinect圖像識別的翻書機能夠通過自動識別用戶肢體語言，實現自動翻頁的功能。本系統通過對Kinect傳感器所傳回的大量數據進行處理，判別用戶肢體語言，實現用戶翻書指令的辨別。利用負壓吸附原理，實現對書頁的吸附、脫開及傳遞等動作。其中吸持力主要依靠風扇系統提供，由系統抽取空氣造成壓力差，吸附書頁并將其置于翻頁棒上，進而實現翻書動作。整體框圖如圖1所示，翻書機系統采用模塊化設計，主要由三個部分組成：動作識別部分、控制系統部分、機械結構部分。

圖1 整體框圖

2 軟件實現方案

2.1 基于支持向量機的動作識別

與神經網絡對比，支持向量機不需要太多的訓練樣本，同時對于凸優化問題,支持向量機能夠有效的解決，當參數和樣本一致時，訓練模型所得到的預測值就不會產生變化，因此在實際應用和理論中支持向量機比神經網絡模型具有更高的性能。

對于人臉特征的提取，使用在 SVM的基礎上結合局部二值模式(LBP)的加權算法。通過描述人臉圖像的 LBP和深度 LBP特征，加權形成人臉特征向量，通過這些向量采用支持向量機進行分類，依托人臉數據庫進行仿真。

對于人臉圖像的LBP算子，在人臉紋理特征提取的方面計算量小、復雜度小，可以對人臉的圖像分析圖像檢索取得很好的效果，但對于具體五官的識別具有不穩定性。

對于深度的LBP算子，由于人臉的平滑性，大部分圖像深度小于5，因此對人臉部特征的提取并不穩定，但對五官未知的大體判定相對較為準確。

所以使用加權合并LBP和深度LBP的方法對人臉特征進行提取。

訓練集T={(x1，y1)，……,(xl,yl)}屬于(Rn×Y)選取合適的核函數K(x，x1)以及懲罰函數C>0; 通過下面公式：

2.2 人臉識別

為了能正確識別用戶的翻書意圖，本設計主要以使用者頭部轉動方向來判斷是否接收到翻書指令。同時，為了能夠提高容錯率，也為了能夠增加使用者的使用體驗，避免因誤判斷導致不必要的翻書，動作識別系統采用雙參數來進行頭部運動的判斷。

對Kinect采集的臉部數據進行處理后，得到人面部各個部分的標定信息，如圖2所示。通過面部信息位置的變化，最終得到三個參數：Pitch、Roll、Yaw。雙參數判定方法的核心思想就是利用Pitch和Yaw這兩個參數形成一個相互制約的關系，只有當兩個參數達到某一條件下才會觸發翻書指令判斷，并通過串口發送至下位機。

圖2 面部特征識別

為了獲得Pitch、Roll、Yaw三個參數，系統在獲得圖像數據后，首先需要定位到圖像中臉部的位置，然后根據臉部五官的位置計算出這三個參數。微軟亞洲研究所于2012年提出了基于學習的描述符(Learn-based Descriptor，簡稱LE描述符)[8]用于解決臉部識別的圖像問題和匹配問題。

不同于其他臉部描述符，LE描述符的獲取是利用非監督型學習技術從訓練案例中獲得編碼器，之后采用降維算法將高維非線性數據轉換成低維線性數據，最終獲得一個高判斷力且易于區分的臉部描寫以及LE描述符。該方法采用了非監督型學習技術，實現了恒定力與判斷力的平衡，即具有較強的抗干擾能力又具有迅速的人臉識別和匹配能力。

獲得的LE描述符再經過分辨器處理，從而確定臉部各個標準點的位置，最終實現臉部追蹤。

3 硬件實現方案

3.1 翻書原理設計

翻書機的功能是代替人手來完成翻書動作。人在翻書的過程中，所完成的動作主要是將要翻的書頁從一端翻到另一端。這一過程可簡化為兩個部分：捏住紙張和移動紙張。本翻書機利用風機和翻書棒來實現這兩個過程。

為了實現捏住紙張這一功能，本設計利用負壓吸附原理，通過驅動風機制造負壓從而使紙張自動吸附在風機上。過程如圖3所示。將風機置于紙張一定高度之上，啟動風機，風機產生氣流。根據伯努利定理，流速大的地方氣壓小，與紙張下方的氣壓相比，紙張上方的氣壓更小，氣壓差使得紙張主動吸附到風機上。同時，為了避免風機扇葉對紙張造成損傷，風機下端使用紗網將其隔開。負壓吸附過程如圖3所示。

圖3 負壓吸附過程

另外，為了將紙張從一段移動到另一端，本設計采用步進電機所驅動的翻書棒作為施力方。當紙張提高到一定高度時，翻書棒轉動，從而使紙張從一端移動到另一端，相當于書頁圍繞其裝訂方轉動180°，翻書棒亦旋轉180°。同樣為了保護紙張不受損壞，翻書棒應該使用圓柱體或橢圓柱體，本設計采用橢圓柱體。

3.2 機械結構設計

翻書機機械結構圖如圖4所示，為了能適應不同高度的紙張以及紙張的不同材質，風機置于一個可上下移動的支架上，并且加裝接近開關形成閉環系統，當風機運動到與紙張一定距離時，開關觸發風機停止運動。此外，風機可由傳動帶左右移動，從而實現左右兩個方向翻書。

此外，風機可由傳動帶左右移動，從而實現左右兩個方向翻書。

圖4 翻書機機械結構圖

3.3 機械運動描述

機械系統初始化狀態下，步進電機轉動，使得翻書棒與書本上端平行；風機向左運動，直至接近開關短接，風機在狀態末處于風機支架最左端；風機支架向下運動，直至接近開關短接，根據書本的厚度風機支架將停留在不同的高度。

翻書指令下達。右翻書狀態下，風機啟動，吸附紙張，風機支架向上運動，提高紙張至一定高度。風機支架向上運動停止，翻書棒逆時針轉動，帶動紙張向右運動。風機停止，機械系統再一次進行初始化。若是左翻書指令，在風機啟動前，傳動帶將使風機移動至最右端，然后再進行后續的步驟。翻書機實體圖如圖5所示。

圖5 翻書機實體正面圖

4 測試結果

為了能夠準確地反映本設計方案的實用性，設計人員選擇采光良好的房間，并將翻書機置于寬敞水平的實驗臺上，對翻書機進行多次實際測試。測試的內容包括向左翻書和向右翻書。測試結果如表1所列。

表1 測試結果

[1] Banks M D. Page turner: US, US7750226[P]. 2010-07-06.

[2] 宜亞麗, 武岳, 趙三猛,等. 全自動可調式翻頁機構設計[J]. 機械研究與應用, 2011(6):79-81.

[3] 董美云, 李培行. 腳踏式翻書機構的設計及運動仿真[J]. 大連交通大學學報, 2010, 31(2):24-27.

[4] 高之泉. 基于雙Kinect的人體運動捕捉[D].南京：南京大學,2017.

[5] 蔣亞杰. 基于Kinect的人體姿態識別和機器人控制[D].深圳：深圳大學,2017.

[6] 姜延豐. 基于Kinect的動作評價方法研究[D].沈陽：沈陽工業大學,2017.

[7] 李妮妮.計算機軟件開發新技術的應用研究[J].科技展望,2016(5):10.

[8] Shotton J, Fitzgibbon A, Cook M, et al. Real-Time Human Pose Recognition in Parts from Single Depth Images[J]. Communications of the Acm, 2013, 56(1):116-124.

[9] Cao Z, Yin Q, Tang X, et al. Face recognition with learning-based descriptor[J]. 2010, 26(2):2707-2714.

[10] 王侃. 自動翻書機的設計[C]//全國機械設計年會, 長沙, 2008:317-319.