5G導盲鏡，讓盲人聆聽世界

信集

將AI處理放在邊緣計算，利用5G低時延、大帶寬打造智能視覺輔助系統，利用5G切片技術為導盲鏡提供專屬網絡保障，幫助盲人“看見”世界

我國是世界上視障人士最多的國家，他們在出行、社交、工作、學習等諸多方面存在障礙。隨著社會發展和醫學的進步，他們對于視力恢復和視障輔助技術的需求也越來越強烈，亟待利用最新的科學知識和設備，研究新型的康復和輔助技術和設備，幫助視障人士實現接近常人的生活。

為解決視覺障礙人士日常生活的痛點，浙江移動聯合杭州視氪創新性提出基于5G+AI+MEC+切片的5G導盲鏡，將AI處理放在邊緣計算，利用5G低時延、大帶寬打造智能視覺輔助系統，利用5G切片技術為導盲鏡提供專屬網絡保障，通過描述周圍環境以及提示環境存在的潛在危險幫助盲人“看見”世界。

5G+AI+MEC+切片構建無障礙社會

5G導盲鏡通過調用云端和邊緣端的API，來實現利用深度學習將智能眼鏡攝像頭獲取的實時畫面，通過5G網絡傳輸至邊緣端進行計算處理，輸出環境的描述信息并轉化為聲音，為盲人描述周圍環境以及提示環境存在的潛在危險。通過將視覺輔助當中復雜的圖像處理功能分散到網絡的邊緣，借助5G高速穩定的網絡，和強大的邊緣云處理能力，大大提升計算處理時延、減輕終端的重量，讓5G惠及弱勢群體、構建5G無障礙社會。

從技術層面看，要幫盲人“ 看到 ”環境信息，分為三個過程：信息獲取、信息處理以及聲音編碼映射。其中，技術的難點在于地面檢測、障礙物檢測等環境信息檢測。這款眼鏡通過雙目攝像頭獲取周圍環境的立體信息，對獲取到的立體信息進行處理，然后進行特殊的三維立體語音編碼，再將聲音（音樂）信息傳遞給盲人，盲人通過不斷的學習和體驗，會根據接收到的聲音來判斷周圍環境信息，從而達到能夠“聽”出世界的感覺。

機器視覺方面，眼鏡采用3個攝像頭，其中一個為普通的彩色攝像頭，主要用于拍攝環境信息，并用于后期的圖像識別，另還有兩個具有可見光+紅外線夜視功能的深度攝像頭，可以利用雙目視差的原理測量前方物體與用戶的距離。目前智能眼鏡主要功能點是障礙物檢測、通路檢測、臺階檢測、洼坑檢測、樓梯檢測和上下坡檢測，檢測精度達到3CM，同時提供精準定位導航功能。未來會通過軟件更新的形式，增加人臉、紅綠燈、斑馬線識別等功能。

聲音編碼映射方面，由于盲人無法看見，因此通過攝像頭獲得的環境三維信息必須采用視覺以外的方法傳遞給用戶，而我們所采用的便是聲音。當眼鏡獲得環境數據之后，會進行特殊的三維立體語音編碼，將不同的視覺信息（比如障礙物的類型、方位與距離等）用不同的聲音或不同節奏的聲音加以一一映射，將聲音信息傳遞給盲人，盲人通過不斷的學習和體驗，會根據接收到的聲音來判斷周圍環境信息，從而實現“聽見”世界的目的。

社交距離+疫情區域助力盲人抗擊疫情

在本次疫情期間，視障人士作為社會弱勢群體更需要得到關愛，5G導盲鏡利用社交距離檢測、疫情區域預警功能降低視障人士感染的風險，助力盲人有效抗擊疫情。

社交距離預警。在公共場合保持安全距離，是預防病毒傳播的一個通用做法。WHO 倡議人與人應保持至少 3 英尺（0.9 米）的距離，我國則建議保持在 1.5—2 米，來降低感染的風險。通過5G導盲鏡上的雙目攝像頭捕獲實時圖像，利用AI計算機視覺技術對圖像中的路人進行測距，實時測算出盲人與周圍行人的距離，當檢測超出安全距離之后利用5G網絡及時給出提醒。

疫情區域預警。從疾控中心獲取實時疫情防控地圖，疫情防控地圖中包含發生疫情的地點經緯度，將疫情防控地圖實時更新至5G導盲鏡，通過5G導盲鏡上的定位模組實時獲取的盲人行為軌跡，當盲人行走至疫情嚴重區域附近，實時對視障人士發出預警信息，從而避免盲人誤入疫情嚴重區域。

除此之外，5G導盲鏡還包含以下六大功能點：

障礙物檢測：基于紅外雙目相機，在自然光和結構光的輔助下，進行大尺度立體匹配，獲取稠密深度圖。利用均值漂移算法，計算最近若干個障礙物的距離、方向和尺寸，并映射到立體聲音，視障人士可以根據聽到的聲音達到避障的效果。

斑馬線檢測：安全地過馬路是盲人群體日常出行的迫切需要。基于條帶提取和聚類的人行橫道檢測算法，被用于盲人在交通路口尋找和定位人行橫道。將人行橫道的位置和方向被識別出來，并轉換為提示信息輸出給使用者。

紅路燈檢測：基于顏色提取和機器學習的人行道交通燈檢測算法，能夠實時準確地檢測到交通燈在圖像中的位置，并給出交通燈的狀態。框選交通燈的對應顏色矩形，即為檢測結果，然后將識別結果以聲音方式傳遞給用戶。

精準定位導航：通過利用GPS及5G高密度組網有利于多基站協作實現高精度定位的特點，并結合圖像處理技術和姿態角微小移位技術，能夠將定位精度定義到米級，例如能夠給用戶提醒，超市在左前方17m。

人臉識別：盲人智能視覺輔助中的人臉識別，旨在幫助視障人士感知和識別日常生活場景中出現的朋友、親人等。在視障用戶使用智能視覺輔助設備的過程中，人臉識別系統逐漸采集并學習用戶常遇見的人臉，當識別系統達到足夠的訓練程度時對場景中出現的人臉進行識別，將識別結果以特定的交互方式傳遞給用戶。

紙幣識別：根據視障人士需求調研所提供的便利生活的功能設計。現有的紙幣識別方法是根據RGB—D相機進行深度篩選，用分類器框出檢測到的紙幣區域，對區域進行SURF特征點檢測判斷是否存在紙幣以及紙幣面值。該方法可以針對復雜環境實時提取紙幣區域并給出紙幣面值，具有較好的魯棒性。

5G導盲鏡通過調用云端和邊緣端能力使得設備成本更低、重量更輕，將給視覺障礙人士帶來全新的體驗，顛覆視覺輔助行業。目前已和浙江省殘疾人學校、浙江省盲人學校、杭州市殘聯深度合作打造盲人社區。隨著5G網絡覆蓋杭州全城，5G導盲鏡將服務于更多的視障人士。5G讓盲人“看見”世界，讓視障、視弱群體重見光明，幫助他們的生活變得更便利、更美好。