基于異構(gòu)計算與深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)設(shè)計

董冠廷 胡吳迪 吳澤琨 王博

摘要 提出一種基于異構(gòu)計算與深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)設(shè)方案。導(dǎo)盲系統(tǒng)以大部分視障患者具有殘留光感為出發(fā)點(diǎn)，在設(shè)計上分為客戶端和服務(wù)端。客戶端為以DE10-Nano主板為核心，配備有三維深度傳感器、RGB攝像頭、頭戴式顯示器、耳機(jī)、遙控器、4G通信模塊等外部設(shè)備，通過異構(gòu)計算技術(shù)能夠加速深度圖像的處理和顯示，結(jié)合服務(wù)端和深度學(xué)習(xí)算法還能實(shí)現(xiàn)對目標(biāo)物體的詳細(xì)分類。測試結(jié)果表明，導(dǎo)盲系統(tǒng)不僅能幫助患者分辨周圍物體的空間位置和輪廓，還具有識別目標(biāo)物體詳細(xì)分類的能力。換句話說，它能夠幫助患者更好的了解周圍環(huán)境。

【關(guān)鍵詞】異構(gòu)計算 深度圖像 深度學(xué)習(xí) 目標(biāo)識別

根據(jù)世界衛(wèi)生組織公布的一組數(shù)據(jù)：世界范圍內(nèi)的完全失明的視障患者約有4000萬到4500萬，保留部分視力的患者約有1.4億人，是完全失明患者數(shù)量的三倍，即大部分視障患者擁有殘留光感。如國外的“eSight3”、“OxSight”的AR導(dǎo)盲眼睛就以此為出發(fā)點(diǎn)，通過增強(qiáng)圖像的亮度和對比度使視障患者重獲光明。由此，本文設(shè)計了一種基于異構(gòu)計算與深度學(xué)習(xí)的導(dǎo)盲系統(tǒng)，旨在使用更低的成本，得到相比較于“eSight3“、“OxSight”更好的導(dǎo)盲效果，填補(bǔ)國內(nèi)市場的空白。

1 導(dǎo)盲系統(tǒng)的硬件結(jié)構(gòu)

1.1 硬件結(jié)構(gòu)綜述

在硬件結(jié)構(gòu)上，導(dǎo)盲系統(tǒng)由客戶端和服務(wù)端組成。客戶端為以DE1O-Nano主板為核心，裝配有三維深度傳感器、RGB攝像頭、頭戴式顯示器、耳機(jī)、遙控器、4G通信模塊等外部設(shè)備。在運(yùn)行過程中，DE1O-Nano主板首先會處理三維深度傳感器采集的深度數(shù)據(jù)，并在頭戴式顯示器上顯示，同時能配合RGB攝像頭、遙控器完成目標(biāo)圖像的抓取，并將抓取的圖像數(shù)據(jù)通過4G通信模塊上傳至服務(wù)端進(jìn)行識別，最后將識別結(jié)果通過4G通信模塊下載至客戶端，用戶能夠使用耳機(jī)得到識別結(jié)果。服務(wù)端為曙光高性能計算機(jī)。主要作用是使用TensorFlow開源軟件庫搭建卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)行目標(biāo)物體識別。

導(dǎo)盲系統(tǒng)的系統(tǒng)結(jié)構(gòu)圖，如圖1所示。

1.2 異構(gòu)計算系統(tǒng)

本系統(tǒng)客戶端采用高性能的FPGA異構(gòu)計算系統(tǒng)，但FPGA的開發(fā)要求開發(fā)人員對時序、狀態(tài)機(jī)有較為深入的了解，且在工程實(shí)踐中仿真和調(diào)試較為繁瑣，開發(fā)周期長。針對此問題本文采用開放運(yùn)算語言O(shè)penCL加快FPGA的開發(fā)速度。

OpenCL是一個面向異構(gòu)系統(tǒng)編寫可執(zhí)行程序的、開放式的免費(fèi)標(biāo)準(zhǔn)。它通過一介低級別、高性能、可移植的抽象，實(shí)現(xiàn)使用高級語言（如C，C++）開發(fā)FPGA的目的。在實(shí)際操作中采用DE1O-Nano主板搭建異構(gòu)計算系統(tǒng)，其示意圖如圖2所示。

2 導(dǎo)盲系統(tǒng)的工作原理

研究表明，大部分視障患者并非完全喪失視力，而是視力退化到無法分辨周圍物體的位移和形狀變化。本文設(shè)計的導(dǎo)盲系統(tǒng)就是通過技術(shù)手段，利用視障患者的殘存視覺幫助他們重獲光明。

導(dǎo)盲系統(tǒng)的工作原理可概括為兩點(diǎn)，其一使患者能夠分辨周圍物體的輪廓和空間位置，即深度圖像的處理;其二使患者能夠知道目標(biāo)物體的具體分類信息，即卷積神經(jīng)網(wǎng)絡(luò)的搭建。

2.1 深度圖像的處理

為了做到患者能夠分辨周圍物體的空間位置，本文將采集到的深度圖像數(shù)據(jù)進(jìn)行處理。首先使用灰度冪次變換的方法增強(qiáng)原圖像的亮度和對比度，然后使用sobel算子對圖像進(jìn)行邊緣檢測并與增強(qiáng)后的圖像進(jìn)行疊加，最后將己處理的圖像在頭戴式顯示器上顯示。使患者可以清晰的區(qū)分物體的輪廓并根據(jù)顏色的深淺分辨周圍物體的空間位置，處理效果如圖3所示。

2.2 卷積神經(jīng)網(wǎng)絡(luò)的搭建與使用

通過深度圖像的處理，患者能夠分辨出周圍物體的輪廓和空間位置，但由于深度圖像無法表現(xiàn)出更多的細(xì)節(jié)，患者無法了解周圍物體的具體分類信息，對于病情嚴(yán)重的患者更甚。對此，本文選擇將患者選擇的目標(biāo)物體裁剪下來，然后上傳至服務(wù)端，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)識別，最后將識別結(jié)果下載至客戶端，并轉(zhuǎn)換為語音供患者使用。

2.2.1 目標(biāo)的選擇和截取

為實(shí)現(xiàn)患者可以自由選擇目標(biāo)物體，本文在頭戴式顯示器中央設(shè)置了截取框，隨著患者頭部的轉(zhuǎn)動，可用截取框截取不同的圖像，并且患者可以根據(jù)深度圖像中的物體輪廓來調(diào)整截取框的大小，從而選擇目標(biāo)物體并通過RGB攝像頭將圖像截取下來，工作過程如圖4所示。

2.2.2 Inception-ResNet-v2網(wǎng)絡(luò)

對于目標(biāo)物體的識別問題，本文采用Google的開源軟件庫TensorFlow對卷積神經(jīng)網(wǎng)絡(luò)模型Inception-ResNet-v2進(jìn)行微調(diào)，達(dá)到具體識別目標(biāo)物體的目的。

Inception-ResNet-v2是Google在20 1 6年發(fā)布的網(wǎng)絡(luò)模型，繼承了Inception-v3和ResNet網(wǎng)絡(luò)的優(yōu)點(diǎn)，在識別效果和網(wǎng)絡(luò)訓(xùn)練速度上都有所的提升。

但I(xiàn)nception-ResNer-v2的網(wǎng)絡(luò)復(fù)雜度非常驚人，可以說是使用更大的網(wǎng)絡(luò)規(guī)模得到更好的識別效果。原本的Inception-ResNet-v2網(wǎng)絡(luò)擁有近2000種預(yù)測類別，包含生活中的各種事物，但由于種類太多，識別結(jié)果可能會與正確分類大相徑庭，因此我們需要調(diào)整網(wǎng)絡(luò)模型全連接層的參數(shù)，即微調(diào)。

3 導(dǎo)盲系統(tǒng)使用方法

在實(shí)際使用過程中，患者可以通過如圖3（a）這種經(jīng)處理過的深度圖像來分辨周圍物體的空間位置和大致輪廓，若患者想要了解周圍某一物體的詳細(xì)類別信息而且可以大致分辨處目標(biāo)物體的類別，就可以通過圖4的方式截取目標(biāo)物體圖像，并將目標(biāo)物體的類別信息上傳至服務(wù)端，由服務(wù)端識別出詳細(xì)類別信息后，下載至客戶端并轉(zhuǎn)換為語音信號供患者使用。且由TensorBoard的評估可得訓(xùn)練得到的Inception-ResNet-v2模型錯誤率僅為2.6%。

4 結(jié)論

在硬件結(jié)構(gòu)上，導(dǎo)盲系統(tǒng)的客戶端為以DElO-Nano主板為核心，裝配三維深度傳感器、RGB攝像頭、頭戴式顯示器、耳機(jī)、遙控器、4G通信模塊等外部設(shè)備組成的硬件平臺;服務(wù)端為曙光高性能計算機(jī)。

在軟件設(shè)計上，導(dǎo)盲系統(tǒng)客戶端的主要功能為深度圖像的處理和顯示、目標(biāo)物體圖像的截取;服務(wù)端的主要功能為結(jié)合卷積神經(jīng)網(wǎng)絡(luò)識別目標(biāo)物體的具體分類信息。

通過系統(tǒng)測試，導(dǎo)盲系統(tǒng)不僅能幫助患者分辨周圍物體的空間位置和輪廓，還能借助于目標(biāo)識別技術(shù)了解周圍物體的具體分類信息，同時還擁有低功耗、高實(shí)時性、成本低的特點(diǎn)，基本實(shí)現(xiàn)了填補(bǔ)國內(nèi)市場空白和幫助患者更好生活的目的。

參考文獻(xiàn)

[1]Organization W H.Global data onvisual impairment[J]. 2012.

[2]Zolyomi A，Shukla A，Snyder J.Social Dimensions of Technology-Mediated Sight [C].Proceedings of the18th International ACM SIGACCESSConference on Computers andAccessibility. ACM， 2016： 299-300.

[3] Williams F.OxSight uses augmentedreality to aid the visuallyimpaired[J].2017.

[4] Szegedy C，Ioffe S，Vanhoucke V，etal. Inception-v4， Inception-ResNet andthe Impact of Residual Connectionson Learning [J].201 6.

[5] Szegedy C，Vanhoucke V，Ioffe S，et al. Rethinking the InceptionArchitecture for Computer Vision[C].Computer Vision and PatternRecognition. IEEE，2 016： 2818-2826.

[6] He K，Zhang X，Ren S，et al. Deep

Residual Learning for ImageRecognition[J]. 2015： 770-778.