基于視覺(jué)感知的圖形化人機(jī)交互界面分層模型

谷 佳，王昕兵

(1.寧夏理工學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院，寧夏石嘴山753000;2.內(nèi)蒙古師范大學(xué)，內(nèi)蒙古呼和浩特010022)

1 引言

信息技術(shù)的發(fā)展使軟件開(kāi)發(fā)數(shù)量迅速增加，大多數(shù)軟件都采用圖形化人機(jī)交互界面進(jìn)行信息獲取，尤其是移動(dòng)APP終端，不僅要實(shí)現(xiàn)圖形化人機(jī)交互界面的開(kāi)發(fā)，還要注重其視覺(jué)傳達(dá)能力，提升軟件的綜合質(zhì)量[1，2]。圖形化人機(jī)交互界面是操作者對(duì)制造裝備重要運(yùn)行特征信息進(jìn)行獲取和有效控制的關(guān)鍵途徑，其設(shè)計(jì)對(duì)操作者控制制造裝備的準(zhǔn)確性和及時(shí)性具有直接影響[3]。

目前許多相關(guān)專(zhuān)家學(xué)者都將圖形化人機(jī)交互界面設(shè)計(jì)作為研究的重點(diǎn)課題，如朱帥等，研究基于改進(jìn)FAHP-TOPSIS的數(shù)控機(jī)床人機(jī)界面評(píng)價(jià)模型[4]；梁永強(qiáng)等，研究基于眼動(dòng)特征的人機(jī)交互行為意圖預(yù)測(cè)模型[5]。雖然上述模型具有一定的研究?jī)r(jià)值，但仍存在界面布局凌亂，操作繁瑣，圖像增強(qiáng)效果不佳等問(wèn)題，應(yīng)用性較弱。

針對(duì)傳統(tǒng)方法存在的圖像增強(qiáng)效果不佳和信息量不豐富的問(wèn)題，本文設(shè)計(jì)基于視覺(jué)感知的圖形化人機(jī)交互界面分層模型，以基于層次分析人機(jī)交互界面視覺(jué)傳達(dá)的圖像處理模型實(shí)現(xiàn)的圖形化人機(jī)交互界面視覺(jué)傳達(dá)優(yōu)化結(jié)果為基礎(chǔ)，建立基于視覺(jué)感知強(qiáng)度的圖形化人機(jī)交互界面分層優(yōu)化模型，實(shí)現(xiàn)圖形化人機(jī)交互界面優(yōu)化設(shè)計(jì)，提升圖形化人機(jī)交互界面的輸出顯示能力，提高其吸引度。

2 基于視覺(jué)感知的圖形化人機(jī)交互界面分層模型

2.1 圖像處理模型構(gòu)建

2.1.1 視覺(jué)傳達(dá)圖像特征提取

在各個(gè)局部區(qū)域，對(duì)于圖形化人機(jī)交互界面視覺(jué)傳達(dá)特征圖像實(shí)施傅里葉變換，獲取其邊緣像素集，表示如下

Iif(x，y)=I*G(x，y，σi)

(1)

Iiv(x，y)=I*stdfilt(x，y，wi)

(2)

Sgif(x，y)=-log2(Pif(x，y))

(3)

其中，Iif(x，y)表示4×4子網(wǎng)格區(qū)域的邊緣像素集；Iiv(x，y)表示曲面區(qū)域的邊緣像素集；Sgif(x，y)表示非平緩區(qū)域的邊緣像素集；G(x，y，σi)表示在4×4子網(wǎng)格區(qū)域中，圖形化人機(jī)交互界面視覺(jué)傳達(dá)圖像(簡(jiǎn)稱(chēng)圖形化人機(jī)視覺(jué)圖像)的高頻分量集；x和y分別表示圖像的橫縱坐標(biāo)；σi表示圖像的豎直邊緣；wi表示圖像的水平邊緣。依據(jù)圖像重構(gòu)結(jié)果實(shí)時(shí)融合跟蹤辨別圖形化人機(jī)視覺(jué)圖像，在非平緩區(qū)域構(gòu)造多分辨多尺度的圖形化人機(jī)視覺(jué)圖像J的頻譜圖，從而對(duì)圖形化人機(jī)交互界面的關(guān)鍵濾波紋理系數(shù)進(jìn)行確定[6]，獲得曲面區(qū)域內(nèi)，圖形化人機(jī)交互界面點(diǎn)跟蹤的軌跡分量，如式(4)所示

(4)

其中，t0表示曲面區(qū)域特征量；I(x)表示圖像的外部輪廓；A表示圖像特征權(quán)值；t(x)表示圖像的邊緣結(jié)構(gòu)塊。在對(duì)像素進(jìn)行拓展的4×4子區(qū)域中，圖形化人機(jī)視覺(jué)圖像的邊緣輪廓信息分量可通過(guò)在非平緩區(qū)域內(nèi)采用曲面變換獲得，式(5)為圖形化人機(jī)視覺(jué)圖像的邊緣輪廓信息分量表達(dá)式

(5)

其中，ei和yi分別表示圖像的尺度信息和塊效應(yīng)分布像素集；N表示圖像塊個(gè)數(shù)；b表示一個(gè)常數(shù)；ai表示局部圖像分塊；wT表示圖像分塊的平均像素值；φ(xi)表示圖像塊之間的相似度。

(6)

其中，Z(i)和h分別表示復(fù)合窗口模板和內(nèi)層窗口的增強(qiáng)特征信息。與稀疏特征融合相結(jié)合，可獲得圖形化人機(jī)視覺(jué)圖像的區(qū)域分布基函數(shù)，如下所示

g(x，y)=f(x，y)+ε(x，y)

(7)

其中，f(x，y)表示圖形化人機(jī)視覺(jué)圖像的像素強(qiáng)度；ε(x，y)表示圖像亮度。圖形化人機(jī)交互界面的視覺(jué)傳達(dá)信息增強(qiáng)處理，可通過(guò)交叉性信息融合技術(shù)完成，為提升圖形化人機(jī)交互界面的視覺(jué)傳達(dá)效果，對(duì)圖形化人機(jī)視覺(jué)圖像的邊緣包絡(luò)特征進(jìn)行構(gòu)建。

2.1.2 人機(jī)交互界面視覺(jué)傳達(dá)優(yōu)化

上小節(jié)中，圖形化人機(jī)視覺(jué)圖像的邊緣包絡(luò)特征由使用邊緣輪廓特征提取方法采集的圖形化人機(jī)交互界面的邊界信息特征構(gòu)成，在此基礎(chǔ)上，采用基于層次分析的視覺(jué)傳達(dá)優(yōu)化方法，實(shí)現(xiàn)圖形化人機(jī)交互界面視覺(jué)傳達(dá)優(yōu)化。圖形化人機(jī)交互界面的視覺(jué)傳達(dá)層次模糊聚類(lèi)表示如下

(8)

(9)

圖形化人機(jī)交互界面層次融合增強(qiáng)需在窗口是非平緩區(qū)域時(shí)，使用LBG向量量化方法實(shí)現(xiàn)，式(10)描述了圖像增強(qiáng)的信息矩陣

(10)

其中，L表示圖形化人機(jī)視覺(jué)圖像超分辨率重構(gòu)的向量量化特征解，可通過(guò)歸一化特征分解圖形化人機(jī)視覺(jué)圖像內(nèi)的像素特征點(diǎn)獲得[8]，在圖形化人機(jī)視覺(jué)圖像邊緣輪廓內(nèi)實(shí)行最優(yōu)化系數(shù)整合，劃分原始指紋圖像為一連串不重疊的分塊區(qū)域，式(11)描述了其定義

(11)

其中，assoc(A，V)和assoc(B，V)分別表示圖形化人機(jī)視覺(jué)圖像的像素點(diǎn)子集A內(nèi)的灰度像素特征和像素點(diǎn)子集B內(nèi)的灰度像素特征。

式(12)描述了高分辨圖形化人機(jī)交互界面視覺(jué)傳達(dá)的子集分量

(12)

其中，μi表示邊緣輪廓特征點(diǎn)；pi，j(A)表示特征分解結(jié)果。

對(duì)復(fù)合窗口模板的內(nèi)層窗口進(jìn)行構(gòu)建，產(chǎn)生單幀分布區(qū)域內(nèi)圖形化人機(jī)視覺(jué)圖像的邊緣輪廓特征點(diǎn)，通過(guò)向量量化方法完成圖形化人機(jī)視覺(jué)圖像信息增強(qiáng)處理，圖形化人機(jī)交互界面視覺(jué)傳達(dá)過(guò)程的特征分解，可使用多分辨的層次分析方法實(shí)現(xiàn)，從而達(dá)成圖形化人機(jī)交互界面視覺(jué)傳達(dá)優(yōu)化。

2.2 基于視覺(jué)感知強(qiáng)度的交互界面分層優(yōu)化模型

2.2.1 分層優(yōu)化模型構(gòu)建

基于視覺(jué)感知強(qiáng)度的圖形化人機(jī)交互界面分層優(yōu)化模型，將圖形化人機(jī)界面中平緩區(qū)域、非平緩區(qū)域、曲面區(qū)域以及單幀分布等區(qū)域的視覺(jué)感知強(qiáng)度作為優(yōu)化目標(biāo)，并以圖形化人機(jī)交互界面各個(gè)區(qū)域視覺(jué)感知強(qiáng)度和邊緣輪廓內(nèi)視覺(jué)感知元素重要度為基礎(chǔ)，進(jìn)行建立[9]。為了實(shí)現(xiàn)對(duì)人機(jī)交互界面不同區(qū)域的分層優(yōu)化，首先對(duì)人機(jī)交互界面各個(gè)區(qū)域中的重要參數(shù)進(jìn)行定義

1)D={d1，d2，…，dn}，當(dāng)前第i個(gè)視覺(jué)感知元素的等級(jí)值和圖形化人機(jī)交互界面全部視覺(jué)感知元素重要度等級(jí)集分別為di和D，其中，i的取值為1，2，…，n；

2)X={x1，x2，…，xm}，xj和X分別為當(dāng)前第j個(gè)視覺(jué)感知區(qū)域的感知強(qiáng)度等級(jí)和圖形化人機(jī)交互界面各個(gè)區(qū)域劃分的視覺(jué)感知強(qiáng)度集，其中，j的取值為1，2，…，m；

3)布置視覺(jué)感知元素i時(shí)，其在第j強(qiáng)度等級(jí)區(qū)域占據(jù)面積數(shù)值用qij表示；

4)R={r1，r2，…，rn}，當(dāng)前第i個(gè)視覺(jué)感知區(qū)域占據(jù)面積數(shù)和各個(gè)視覺(jué)感知元素被布置在圖形化人機(jī)交互界面后視覺(jué)感知強(qiáng)度指數(shù)分別為ri和R，其中，i的取值為1，2，…，n，則

(13)

其中，di和xj分別表示任意視覺(jué)感知元素布置到圖形化人機(jī)交互界面時(shí)，其重要度等級(jí)和布置位置占據(jù)區(qū)域的感知強(qiáng)度等級(jí)，其布置位置占據(jù)面積數(shù)用qij表示。

若想視覺(jué)感知元素布置在圖形化人機(jī)交互界面核心區(qū)域，那么ri的值應(yīng)越大。在該方法的基礎(chǔ)上，對(duì)基于視覺(jué)傳達(dá)感知強(qiáng)度的圖形化人機(jī)交互界面分層優(yōu)化模型進(jìn)行建立，表示如下

(14)

通過(guò)式(14)獲得視覺(jué)傳達(dá)指數(shù)定義。若想表示高重要度的視覺(jué)感知元素布置在圖形化人機(jī)交互界面視覺(jué)感知強(qiáng)度高的區(qū)域，那么Z的值應(yīng)越大。

2.2.2 基于遺傳算法的模型求解

使用遺傳算法求解上小節(jié)建立的基于視覺(jué)感知強(qiáng)度的圖形化人機(jī)交互界面分層優(yōu)化模型。

1)模型編碼

基于遺傳算法進(jìn)行染色體求解時(shí)，使用基于視覺(jué)感知元素的編碼規(guī)則，以保證視覺(jué)感知元素能恰當(dāng)?shù)夭贾糜趫D形化人機(jī)交互界面不同區(qū)域內(nèi)，并且使所布置區(qū)域相連接，以此來(lái)實(shí)現(xiàn)界面的分層優(yōu)化。如果存在8個(gè)視覺(jué)感知元素，將其序號(hào)當(dāng)作對(duì)染色體實(shí)行求解的一個(gè)基因片段，假如使用1至8的整數(shù)對(duì)感知元素序號(hào)進(jìn)行編碼，具有可行性的染色體編碼表示如下

p1：(2 3 5 6 7 4 8 1)

p2：(5 6 2 3 7 4 8 1)

(15)

2)染色體編碼求解

依據(jù)以上編碼規(guī)則，采用以下步驟求解圖形化人機(jī)交互界面布置：

(a)當(dāng)前實(shí)施布置的視覺(jué)感知元素Si和di等信息，可依據(jù)提取的基因片段未布置的基因編碼獲得。

(b)未布置的視覺(jué)感知元素的各個(gè)視覺(jué)感知區(qū)域信息，可依據(jù)從高至低的視覺(jué)感知區(qū)域等級(jí)獲得，并按照面積匹配規(guī)則布置視覺(jué)感知元素至該視覺(jué)感知區(qū)域內(nèi)。

(c)對(duì)當(dāng)前視覺(jué)感知區(qū)域能否徹底布置該視覺(jué)感知元素進(jìn)行判定，如果能，則跳轉(zhuǎn)至步驟(e)，如果不能，則跳轉(zhuǎn)至步驟(d)

(d)依據(jù)面積匹配規(guī)則，對(duì)獲得的下一個(gè)等級(jí)視覺(jué)感知區(qū)域和之前待布置視覺(jué)感知區(qū)域共同實(shí)施視覺(jué)感知元素布置，跳轉(zhuǎn)至步驟(c)。

(e)對(duì)該視覺(jué)感知元素完成布置后的rj值進(jìn)行計(jì)算。

(f)對(duì)當(dāng)前編碼全部染色體的解碼是否完全結(jié)束進(jìn)行判定，如果是，跳轉(zhuǎn)至步驟(g)，如果不是，返回至步驟(a)。

(g)單個(gè)染色體的求解計(jì)算，可通過(guò)依據(jù)各個(gè)計(jì)算結(jié)果獲得的當(dāng)前染色編碼Z值和各個(gè)視覺(jué)感知元素在各個(gè)感知區(qū)域的分布信息實(shí)現(xiàn)。

3 實(shí)驗(yàn)分析

為分析本文模型的圖形化人機(jī)交互界面優(yōu)化效果，設(shè)計(jì)對(duì)比實(shí)驗(yàn)，選取文獻(xiàn)[4]的基于改進(jìn)FAHP-TOPSIS的數(shù)控機(jī)床人機(jī)界面評(píng)價(jià)模型(簡(jiǎn)稱(chēng)FAHP-TOPSIS模型)和文獻(xiàn)[5]的基于眼動(dòng)特征的人機(jī)交互行為意圖預(yù)測(cè)模型(簡(jiǎn)稱(chēng)眼動(dòng)特征模型)，作為本文模型的對(duì)比模型，進(jìn)行對(duì)比分析。

以采用MATLAB仿真軟件和VC編程工具設(shè)計(jì)的圖形化人機(jī)交互界面作為實(shí)驗(yàn)對(duì)象，圖形化人機(jī)視覺(jué)圖像樣本尺寸為1000，界面元素區(qū)域分布位置參數(shù)詳情用表1描述。

表1 界面元素區(qū)域分布位置參數(shù)詳情

根據(jù)上述設(shè)置的實(shí)驗(yàn)參數(shù)，對(duì)不同模型進(jìn)行對(duì)比。由于人機(jī)交互界面包含大量不同類(lèi)型的圖像，隨機(jī)選取一張圖像作為實(shí)驗(yàn)對(duì)象，運(yùn)用不同模型對(duì)其進(jìn)行處理，得到三種模型的亮度特征圖像增強(qiáng)對(duì)比結(jié)果用圖1描述。

圖1 亮度特征圖像增強(qiáng)對(duì)比

分析圖1可得，F(xiàn)AHP-TOPSIS模型的圖像亮度增強(qiáng)效果較弱，而眼動(dòng)特征模型存在特征圖像亮度過(guò)強(qiáng)的問(wèn)題，相對(duì)于這兩種模型，本文模型具有更優(yōu)的亮度特征圖像增強(qiáng)效果，與人眼視覺(jué)感知相吻合，可更好地實(shí)現(xiàn)圖形化人機(jī)交互界面優(yōu)化處理，提升圖形化人機(jī)交互界面的視覺(jué)舒適度。

信息熵是評(píng)價(jià)圖像平均信息量的標(biāo)準(zhǔn)，通過(guò)具體數(shù)值對(duì)信息熵進(jìn)行表示，其值越大，說(shuō)明圖像融合效果越好，信息量越豐富。實(shí)驗(yàn)分析三種模型的信息熵，結(jié)果用圖2描述。

圖2 信息熵對(duì)比結(jié)果

分析圖2可得，相對(duì)于其它兩種模型，本文模型的信息熵始終保持最高，穩(wěn)定在[70，80]區(qū)間內(nèi)，起伏程度較小；FAHP-TOPSIS模型的信息熵起伏程度相對(duì)較大，最低值為45，最高值接近60；眼動(dòng)特征模型的信息熵在[20，50]區(qū)間內(nèi)起伏程度劇烈。對(duì)比這些數(shù)據(jù)可以看出，本文模型具有較強(qiáng)的圖像融合效果，可大大提升圖形化人機(jī)交互界面的性能。

4 結(jié)論

通過(guò)對(duì)視覺(jué)感知的深入研究，設(shè)計(jì)基于視覺(jué)感知的圖形化人機(jī)交互界面分層模型，提升圖形化人機(jī)交互界面輸出顯示能力。該雙層模型通過(guò)基于層次分析人機(jī)交互界面視覺(jué)傳達(dá)的圖像處理模型和基于視覺(jué)感知強(qiáng)度的圖形化人機(jī)交互界面優(yōu)化模型，共同實(shí)現(xiàn)圖形化人機(jī)交互界面分層優(yōu)化設(shè)計(jì)。該模型通用性強(qiáng)，可應(yīng)用于各種人機(jī)交互界面的優(yōu)化設(shè)計(jì)，為人機(jī)交互界面優(yōu)化提供科學(xué)、高效的技術(shù)支持。