基于人機(jī)交互的三維數(shù)據(jù)協(xié)同可視檢測仿真

冀 婷

(西安石油大學(xué)，陜西 西安 710065)

1 引言

由于語音識別、圖像理解、EMG信號提取等技術(shù)的發(fā)展，基于語音、手勢姿態(tài)的人機(jī)交互技術(shù)應(yīng)用也在日益擴(kuò)展，因此繁衍出更多的創(chuàng)新型人機(jī)交互技術(shù)[1]。人機(jī)交互技術(shù)是由視覺傳感器檢測并獲取目標(biāo)的三維數(shù)據(jù)，并將其通過計(jì)算機(jī)變成視覺實(shí)體，使圖形信息能夠被直觀地檢測和分析。傳統(tǒng)方法包括圖像信息檢測方法[2]、異常檢測法[3]。但是在當(dāng)前技術(shù)下，存在一個關(guān)鍵的技術(shù)難題：感知三維數(shù)據(jù)，也就是如何進(jìn)行三維數(shù)據(jù)協(xié)同感知。在檢測中，如果過量采樣會造成數(shù)據(jù)堆疊，浪費(fèi)計(jì)算機(jī)軟硬件資源，若采樣不足也將造成空間頻譜混疊致使檢測結(jié)果出現(xiàn)偏差，所以理想的采樣選取是非常必要的。

為了提升檢測效果，本文構(gòu)建一種基于人機(jī)交互的三維數(shù)據(jù)協(xié)同可視檢測仿真，將柵格化的三維數(shù)據(jù)通過簇分類、特征提取與決策函數(shù)，對目標(biāo)進(jìn)行精準(zhǔn)劃分與檢測，該法具備較好的檢測準(zhǔn)確度和平穩(wěn)度。

2 基于人機(jī)交互的三維數(shù)據(jù)協(xié)同可視檢測

2.1 C/S結(jié)構(gòu)下三維數(shù)據(jù)協(xié)同結(jié)構(gòu)及流程

該框架通過C/S結(jié)構(gòu)[4]，由服務(wù)設(shè)備下達(dá)執(zhí)行命令，服務(wù)端保留目標(biāo)數(shù)據(jù)和相關(guān)參數(shù)，如增添新目標(biāo)，服務(wù)設(shè)備將發(fā)送新的執(zhí)行命令；其中不僅含有操作命令，而且包含反饋命令。為縮短反饋時長，采取用戶群互通的交互方法。

服務(wù)設(shè)備主要是執(zhí)行保存和下達(dá)等指令。數(shù)據(jù)傳輸?shù)街鲗?dǎo)的服務(wù)端后會保存至服務(wù)設(shè)備，然后再由該設(shè)備下達(dá)給各用戶端。

基于C/S結(jié)構(gòu)的服務(wù)設(shè)備和用戶端性能分類如圖1所示。

圖1 服務(wù)設(shè)備和用戶端性能分類圖

在三維數(shù)據(jù)協(xié)同可視檢測時，需要將二維數(shù)據(jù)重建實(shí)現(xiàn)三維建模，即三維建模[5]等于是每個二維數(shù)據(jù)的堆疊。三維建模流程圖表明，閾值檢測行為是在閾值數(shù)量設(shè)置好后才執(zhí)行的，也就是說，通過灰度直方圖檢測、目標(biāo)邊緣灰度統(tǒng)計(jì)或固定閾值方法，能夠得出作為建模基礎(chǔ)的邊界閾值數(shù)量。最后結(jié)合背景和材質(zhì)，獲得三維數(shù)據(jù)圖像。當(dāng)渲染結(jié)果不太理想時，可以通過調(diào)整需繪制的邊界數(shù)量或選擇不同閾值，來獲得令人滿意的結(jié)果。多數(shù)情況下，該構(gòu)建流程都可以使檢測目標(biāo)生成較為理想的三維數(shù)據(jù)結(jié)果。

2.2 三維數(shù)據(jù)協(xié)同感知

由于Kinect傳感器的傳輸頻率比較快，獲取與反饋數(shù)據(jù)信息時基本實(shí)現(xiàn)同步傳達(dá)，再加上三維數(shù)據(jù)協(xié)同模型采集的數(shù)據(jù)為點(diǎn)云數(shù)據(jù)，所以協(xié)同感知環(huán)境下對目標(biāo)三維數(shù)據(jù)的提取又迅速又精準(zhǔn)，而且還能實(shí)時檢測。

雖然獲得的點(diǎn)云數(shù)據(jù)較為精確，但數(shù)據(jù)量又龐大又散亂，因此，要通過鄰域查詢等途徑重建數(shù)據(jù)信息。采取柵格法[6]將點(diǎn)云數(shù)據(jù)進(jìn)行劃分，不僅可以提升鄰域查詢的效率，而且對數(shù)據(jù)篩選起著重要的作用。該法為一種普適又有效的分類方案，在實(shí)際操作中能夠快速對數(shù)據(jù)進(jìn)行劃分處理。

柵格分類法的具體步驟為：獲取背景信息的點(diǎn)云數(shù)據(jù)，所測范圍內(nèi)目標(biāo)出現(xiàn)時，Kinect傳感器將同步采集到點(diǎn)云數(shù)據(jù)P，設(shè)定P點(diǎn)的最大三維數(shù)值是xmax，ymax，zmax；最小三維數(shù)值是xmin，ymin，zmin。所有極值的坐標(biāo)交錯后形成極小長方體柵格，假設(shè)所測范圍的邊長為L，空間點(diǎn)云被分成的柵格數(shù)量為n，由柵格化公式推算得出柵格數(shù)量n的公式

(1)

把獲得的點(diǎn)云數(shù)據(jù)與柵格一一對應(yīng)后，做差所得的結(jié)果就是該目標(biāo)在點(diǎn)云空間內(nèi)的點(diǎn)云信息。通過將柵格分類點(diǎn)云數(shù)據(jù)減去背景原始數(shù)據(jù)，獲取目標(biāo)的點(diǎn)云信息，再以二維數(shù)據(jù)形式進(jìn)行存儲，當(dāng)各數(shù)據(jù)點(diǎn)保存到相應(yīng)的柵格查詢數(shù)據(jù)庫時，對其下達(dá)鄰域查詢指令，指令執(zhí)行時從該點(diǎn)柵格開始查詢，如沒有查詢結(jié)果，則繼續(xù)查詢其周圍的柵格，從而減少對全部點(diǎn)云數(shù)據(jù)查詢的指令操作，簡化非鄰域點(diǎn)的運(yùn)算，在一定程度上加快查詢速度。

通過柵格法采集可用的點(diǎn)云信息，得到基于Kinect傳感器的目標(biāo)數(shù)據(jù)，將其排列成目標(biāo)的點(diǎn)云二維數(shù)值方陣，并假定該方陣是A1；根據(jù)旋轉(zhuǎn)矩陣[7]R和平移矩陣t推算成三維數(shù)值后，將得到的方陣假定為A，再利用模型和傳感器提取的點(diǎn)云數(shù)據(jù)得出目標(biāo)的三維坐標(biāo)數(shù)據(jù)。

為了使獲取的點(diǎn)云信息更為精準(zhǔn)，在采集到經(jīng)柵格分類的點(diǎn)云數(shù)據(jù)后，需通過濾波算法做降噪處理。Kinect傳感器可以獲得所有點(diǎn)的三維點(diǎn)云信息(即各點(diǎn)的x、y、z數(shù)值)，且模型提取的是目標(biāo)在y軸上的全部數(shù)據(jù)信息。

由獲得的點(diǎn)云數(shù)據(jù)得出水平方向y的極值(即ymin、ymax)和垂直方向z的極值(即zmin、zmax)，把兩對極值投影至yz坐標(biāo)系上，設(shè)定O是三維數(shù)據(jù)協(xié)同模型坐標(biāo)系的原點(diǎn)，y軸為x值等于0的點(diǎn)集合，也是該坐標(biāo)系的正方向；其中，ymin、ymax、zmin和zmax的投影點(diǎn)分別是點(diǎn)A、B、C、D。由Kinect傳感器和模型協(xié)同得到的旋轉(zhuǎn)矩陣R和平移矩陣t，推算出點(diǎn)A、B、C、D的三維坐標(biāo)數(shù)據(jù)。用點(diǎn)A舉例說明

(xA，yA，zA)=R(x1，y1，z)+t

(2)

創(chuàng)建被點(diǎn)O、A、B、C、D所構(gòu)成的多面體，求得成像角度的過程如圖2所示。

圖2 三角形構(gòu)建示意圖

從上圖中可以得知多面體的所有線段長，用線段AB舉例說明

(3)

多面體中含有三角形：ΔAOB、ΔAOC、ΔAOD、ΔBOC、ΔBOD、ΔCOD，用ΔAOB舉例說明，由三角形余弦定理可知

(4)

根據(jù)上式即可得到所有三角形中以點(diǎn)O為頂點(diǎn)的全部角度，通過對比得出最大角度，也就是三維數(shù)據(jù)協(xié)同模型的可視范圍，為提高目標(biāo)數(shù)據(jù)信息采集的精準(zhǔn)度奠定基礎(chǔ)。

2.3 三維數(shù)據(jù)協(xié)同可視檢測設(shè)計(jì)

在人機(jī)交互的條件下，如想獲取更多目標(biāo)數(shù)據(jù)信息，那么要根據(jù)三維數(shù)據(jù)協(xié)同模型，將所測目標(biāo)歸類劃分，進(jìn)而對目標(biāo)的細(xì)節(jié)所屬進(jìn)行標(biāo)識并實(shí)現(xiàn)可視檢測。

2.3.1 k-means分類法

分類法中較為簡潔有效的劃分方法為k-means算法[8]，該算法具有普適性，其類別判定的標(biāo)準(zhǔn)為長度，原理是根據(jù)長度對目標(biāo)進(jìn)行劃分并組成有差異的簇，兩點(diǎn)間長度愈短，那么屬于相同類別的可能性愈大，從而獲得一個分類準(zhǔn)則，即牢固又獨(dú)立的簇。

于某一存在空間里采集一組數(shù)據(jù){x1，…，xN}，其被劃分成簇的數(shù)量為K，如果僅考慮歐幾里得空間方面，則應(yīng)該把長度較短的點(diǎn)劃分成一個簇，而其它不同簇里的點(diǎn)，其長度應(yīng)該較長。k-means算法的原理為提取K個分類中心μk(k=1，…，K)，然后把全部數(shù)據(jù)分別劃分給與其之間長度最短的分類中心，以達(dá)到各點(diǎn)與其所屬分類中心之間長度的平方和為極小值的目的。

數(shù)據(jù)點(diǎn)xn用邏輯變量rnk∈{0，1}代替，針對分類k的劃分，當(dāng)數(shù)據(jù)點(diǎn)xn劃分為第k類別時，那么rnk=1，反之，rnk=0。因此，對損失函數(shù)做出下列定義

(5)

上式，損失函數(shù)的分類標(biāo)準(zhǔn)是rnk，分類中心是μk。

當(dāng)損失函數(shù)J為極小值時，求得全部數(shù)據(jù)點(diǎn)的分類標(biāo)準(zhǔn){rnk}與分類中心{μk}。此時的k-means算法通過將不斷變化的原始數(shù)據(jù)遞推為新數(shù)據(jù)的過程，使重復(fù)反饋的rnk和μk得到持續(xù)的交替改良。具體步驟如下：

首先，獲取分類中心μk的初始數(shù)據(jù)，推算出損失函數(shù)J為極小值時的數(shù)據(jù)點(diǎn)分類標(biāo)準(zhǔn)rnk，根據(jù)損失函數(shù)定義，已知xn與μk值，損失函數(shù)J為rnk的線性函數(shù)，因?yàn)閤n的數(shù)據(jù)點(diǎn)間毫無聯(lián)系，為了獲取各數(shù)據(jù)點(diǎn)n，把該數(shù)據(jù)點(diǎn)劃分到與其之間長度最短的分類中心內(nèi)，如下式所示

(6)

根據(jù)上式得到的rnk，推算出損失函數(shù)J為極小值時的分類中心μk。已知rnk值，損失函數(shù)J為μk的二次函數(shù)，當(dāng)因變量J對自變量μk進(jìn)行求導(dǎo)，導(dǎo)數(shù)值為0時，那么有

(7)

所以μk取值推導(dǎo)為如下公式

(8)

關(guān)于第K個類別，當(dāng)rnk選定是1時，數(shù)值為其類別內(nèi)點(diǎn)的數(shù)量，所以μk為其類別內(nèi)點(diǎn)的均值。

重復(fù)反饋的過程，等空間內(nèi)所有的數(shù)據(jù)信息全部處理完全后才會停止，數(shù)據(jù)分類效果逐漸趨于理想化。

目標(biāo)通過k-means算法分類處理后，其分割的各區(qū)域特征也要收集提取，通常采取的特征提取法為LBP特征提取、Haar特征提取等。本文主要利用LBP特征提取法來獲得處理后的目標(biāo)特征。

2.3.2 LBP特征獲取

目標(biāo)特征為該目標(biāo)與其它目標(biāo)之間存在的差異點(diǎn)或者目標(biāo)自身具有的獨(dú)特特征。LBP算法[9](Local Binary Pattern，也叫局部二值模式)是用于對目標(biāo)細(xì)節(jié)紋理特征進(jìn)行分類的運(yùn)算符，其具備不變性的優(yōu)勢，例如旋轉(zhuǎn)不變性、灰度不變性等，并展現(xiàn)出良好的分割效果，廣泛運(yùn)用于相關(guān)領(lǐng)域。

LBP算法是在由3×3個網(wǎng)格組成的框架里進(jìn)行運(yùn)算，該框架中間的像素值是與周圍8個像素值做大小比較的基礎(chǔ)值(即閾值)。如果比較的像素值比閾值大，那么將該像素所在的網(wǎng)格標(biāo)記成1；反之標(biāo)記成0。然后得到8位二進(jìn)制數(shù)，也就是該框架中間像素點(diǎn)的LBP值，該值是紋理信息的展現(xiàn)。圖3為LBP特征提取法的示例圖。

圖3 LBP特征提取法的示例圖

LBP算法提取目標(biāo)特征時，該目標(biāo)的各像素點(diǎn)都會做像素值對比，并獲取其相應(yīng)的LBP值。

2.3.3 SVM分類與檢測

支持向量機(jī)[10](support vector machines)為一種二分類模型，以在特征空間內(nèi)搜索一分類面來分割樣本為目標(biāo)，以距離最大化為分割原則，最后轉(zhuǎn)變成一個基本的非線性分類器。該模型是利用特征劃分來獲得目標(biāo)間隔，經(jīng)過多次的重復(fù)反饋獲得距離的極大值，其算法是對凸二次規(guī)劃問題進(jìn)行解析的理想化算法。

支持向量機(jī)通常用于解析線性可分情況，解決間距過大的問題。然而，當(dāng)數(shù)據(jù)處于線性不可分情況時，根據(jù)非線性映射算法，低維空間里的線性不可分?jǐn)?shù)據(jù)被改成高維特征空間里的線性可分?jǐn)?shù)據(jù)，然后通過線性算法實(shí)現(xiàn)對數(shù)據(jù)非線性特征的進(jìn)一步轉(zhuǎn)換，使其成為線性特征來進(jìn)行解析。提出支持向量機(jī)的初始動機(jī)是要對兩類數(shù)據(jù)進(jìn)行歸化，分類情況分為四種：二分類線性可分；二分類線性不可分；二分類非線性可分；二分類非線性不可分。

二分類線性可分情況下，通過線性可分SVM，按照已知數(shù)據(jù)(xi，yi)，得到如下的歸化平面公式

WX+b=0

(9)

上式，特征縮放系數(shù)分別是W、b。

該歸化平面不僅能夠?qū)煞N數(shù)據(jù)進(jìn)行精準(zhǔn)地劃分，還可以滿足兩個類別內(nèi)數(shù)據(jù)間距最大化的條件。當(dāng)上式中W和X代表維度矢量時，則線性判斷基本公式如下所示：

g(x)=Wx+b

(10)

由于歸化平面不是只有一個，所以要將幾何距離的極大值轉(zhuǎn)換成約束最優(yōu)化問題，得出

(11)

(12)

(13)

根據(jù)式(13)完成三維數(shù)據(jù)協(xié)同可視檢測，為檢驗(yàn)本文方法的有效性及可行性，需進(jìn)行仿真。

3 仿真研究

本文模型的開發(fā)平臺是基于Windows XP系統(tǒng)的Visual studio c++2017，計(jì)算機(jī)配置是Pentiun(R)Dual-Core CPU 2.62GHZ內(nèi)核，2.00GB內(nèi)存；模型框架是在wxWidgets庫下完成，通過Opengl與Glew對目標(biāo)進(jìn)行繪制與顯示，利用Vcglib庫對目標(biāo)數(shù)據(jù)進(jìn)行采集。三維數(shù)據(jù)采集界面如圖4所示。

圖4 數(shù)據(jù)采集界面

為驗(yàn)證該模型檢測的準(zhǔn)確度與穩(wěn)定性，對實(shí)驗(yàn)對象采取相同環(huán)境下56個小時的重復(fù)檢測，抽取測量數(shù)據(jù)如表1所示。

表1 各方法檢測數(shù)據(jù)量對比(單位：bit)

如表1所示，相同時間內(nèi)，所提檢測的數(shù)據(jù)量更高，說明所提方法檢測效率更高。

三種方法對三維數(shù)據(jù)進(jìn)行可視化檢測時，不同輸出頻率代表波動不同，波動越小，說明三維數(shù)據(jù)檢測能耗越低，檢測效率越高。對三種方法的輸出頻率進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 不同方法輸出頻率對比圖

如圖5所示，文獻(xiàn)[2]方法、文獻(xiàn)[3]方法出數(shù)頻率較高，波動較大，而所提方法輸出頻率逐漸降低，波動較小，并且較為穩(wěn)定。說明所提方法具有明顯優(yōu)勢，實(shí)用價值較高。

為了進(jìn)一步驗(yàn)證檢測效果，對檢測結(jié)果偏差進(jìn)行實(shí)驗(yàn)對比，實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 三種方法檢測結(jié)果偏差折線圖

通過上圖可以更加直觀地看出，所提所提方法偏差更小，具備更優(yōu)化、更理想的精準(zhǔn)度和穩(wěn)定性。

4 結(jié)論

為了提升可視檢測應(yīng)用領(lǐng)域廣泛性及檢測結(jié)果準(zhǔn)確性，本文提出一種基于人機(jī)交互的三維數(shù)據(jù)協(xié)同可視檢測，將人機(jī)交互時采集的點(diǎn)云數(shù)據(jù)柵格化，通過對目標(biāo)的特征提取、分類以及決策函數(shù)，最終實(shí)現(xiàn)檢測的目的。所以，本文研究得出的方法具有良好的同步性與實(shí)時性，不僅檢測速度快，而且檢測的準(zhǔn)確率、精度俱佳，穩(wěn)定性極好。