基于超分辨率重建的智能顯示終端系統的設計*

張銀勝 ，徐文校 ，史艷高 ，單慧琳

(1.無錫學院 電子信息工程學院，江蘇 無錫 214105；2.南京信息工程大學 電子與信息工程學院，江蘇 南京 210044；3.南京郵電大學 電子與光學工程學院，江蘇 南京 210023)

0 引言

伴隨著物聯網技術的發展，在萬物互聯的情景中，信息的獲取途徑日趨豐富。當人們發現重要的信息時，存在信息共享的需求，其中圖像、視頻等信息因其直觀、信息量大而成為主要的信息載體，在會議室或者教室等應用場景，實現上述信息的快速、實時且高質量共享是主要目標。

信息共享顯示[1]采用有線的方式時設備復雜，會出現束縛用戶的自由等問題。目前主要采用無線顯示技術[2]，有微軟的Miracast[3]和蘋果的AirPlay[4]。目前市面上的無線顯示設備一般以智能電視、液晶顯示器為顯示終端，其體積較大不便移動，在功能上一般將發送端的畫面傳送給顯示端。受其硬件設備、傳輸環境的限制，在數據傳輸過程中，會丟失少部分高頻信息，導致畫面模糊、色彩分布不均勻等情況，同時顯示終端無觸摸功能，無法在顯示終端進行標記、繪圖等操作。上述常規技術雖能基本實現信息的無線顯示，但存在設備復雜、高質量圖像顯示延遲時間較長、畫面質量差、系統靈活性弱等缺點。本文設計了一種智能顯示終端系統，在實現信息共享的基礎上保證畫面質量的同時還能夠擁有信息標注等功能，大大提高了智能顯示系統的靈活性，實現了終端的智能化和信息傳達的高效率。

1 基于深度學習的超分辨率重建技術

1.1 超分辨率重建技術簡介

分辨率代表了圖像的精密度，分辨率越高，其圖像顯示效果越精細、越細膩。超分辨率重置簡而言之就是將低分辨率圖像用超分辨率[5]技術轉換成高分辨率圖像，在數據傳輸過程中丟失的少部分高頻信息可借用超分辨率重建技術恢復。常見的超分辨率重建方法有基于插值的方法[6]、基于重構的方法[7]以及基于深度學習的方法[8]等。

基于插值的方法是依據低分辨率圖像的鄰近像素點值插入新像素點重構成高分辨率圖像，此方法雖計算復雜度低，但在高頻部分易產生虛影。基于重構的方法是通過分析高分辨率與低分辨率的像素值聯系，建立模型，在重建方面，其效果好于基于插值的方法，不過計算耗時長，在建立模型方面存在一定的困難。

基于深度學習的超分辨率重建方法其本質為通過卷積神經網絡等網絡來建立低分辨率圖像與高分辨率之間的映射關系。將人工智能與計算機視覺相結合，讓機器通過不斷學習圖像高分辨率與低分辨率之間的關系去重構高分辨率圖像成為了廣大學者的研究方向。

1.2 理論算法

通過卷積神經網絡建立高分辨率圖像與低分辨率圖像之間映射關系是基于深度學習超分辨率重建的常見思路，其步驟大致分為預插值、特征提取、特征映射、重建高分辨率圖像四部分，其網絡結構如圖1 所示。

圖1 超分辨率重建網絡結構圖

預插值是使用某種插值方法將低分辨率圖像擴大至所需的目標尺寸，對輸入圖像進行預插值處理后，插值過程引入的誤差會在一定程度上會對重構效果造成一定的影響，同時計算復雜度會大大增加，導致模型的收斂速度慢[9]，對視頻圖像等基本不能做到實時的超分辨重建。針對提高模型的收斂速度，對視頻文件做到實時超分辨率重建，丟棄對原始圖像的預插值處理操作，引入亞像素卷積層[10]，網絡結構如圖2 所示。

圖2 亞像素卷積網絡結構圖

對輸入的低分辨率圖像直接經過卷積操作時需保證圖像的大小不變，通道數變為γ2(γ2是圖像的放大倍數)。對所得到的特征圖經過亞像素卷積上采樣后得到高分辨率圖像。該網絡結構只是在模型的末端進行上采樣，與直接對輸入的原始圖片預插值處理相比，在低分辨率空間保留了更多的細節特征。同時，亞像素卷積是將多通道特征圖上單像素點排列成像素塊，并不是真正的卷積運算，是一種像素重排算法，具有快速、高效等特點。亞像素卷積層的引入大大加快了神經網絡模型的收斂速度，對視頻的超分辨率重建能夠真正做到實時、高效。

2 硬件方案與設計

Wi-Fi 技術具有無需布線、頻段無須許可證、覆蓋范圍廣、傳輸速率快、安全性高、輻射性低、信號穩定等特點，本設計基于Wi-Fi 技術，實現對信息內容的無線顯示。

系統分為發送端和數據接收端，發送端一般是個人電腦(PC)、平板或手機等設備；接收端為顯示終端，顯示終端由主控制器、Wi-Fi 模塊和顯示模塊三部分組成。發送端將圖像或視頻等信息傳給顯示終端，顯示終端接收后進行超分辨率重建并顯示，實現圖像、視頻、文檔文件的高質量投屏共享，顯示終端具有的雙向傳輸、支持觸摸等功能，使得在信息共享的基礎上，還能同步進行信息標注等操作，真正實現終端的智能化。系統框圖如圖3 所示。

圖3 系統框圖

系統主控制器采用博通公司的BCM2837 處理器，內嵌1.2 GHz 主頻的ARM Cortex-A53 CPU[11]，支持觸摸功能的HDMI 顯示接口。Wi-Fi 模塊采用RAK421 Wi-Fi模塊，傳輸速率大于4 Mb/s，支持多達8 個Socket 的連接，滿足一對多顯示要求，采用串行外設接口(SPI)[12]通信協議驅動，BCM2837 通過SPI 接口與其連接，發送SPI指令實現配置，使其工作在AP 熱點模式，從而構建無線局域網。顯示模塊利用BCM2837 的HDMI 接口驅動顯示器，實現信息的傳輸及顯示。顯示模塊通過USB 接口與主控制器連接，實現傳輸觸控點坐標等數據。顯示終端硬件框圖如圖4 所示。

圖4 顯示終端硬件框圖

3 系統實現具體方法

開發環境為Linux 系統及Python 編譯環境。系統在發送端運行Python 編寫的腳本代碼，實現對發送端桌面的實時截取，截取的JPEG 圖像等數據通過建立的Socket和UDP/IP 服務器進行傳輸，UDP 服務器通與顯示終端的IP 地址和端口進行連接來發送數據。在接收端運行Python 編譯的腳本代碼，實現對發送圖像等數據的接收和超分辨率重建。

Wi-Fi 模塊內部集成TCP/IP[13]協議棧，通過SPI 接口與主控制器連接。主控制器根據SPI 的通信協議通過SPI 接口給Wi-Fi 模塊發送SPI 指令去配置Wi-Fi 模塊的工作方式。發送端連接Wi-Fi 模塊發出的熱點信號后開始下一步數據的傳輸工作。

UDP 服務器實現實時畫面數據的獲取與傳輸任務[14]，其基于UDP/IP 傳輸協議實現，與TCP/IP 相比，傳輸速度更快。工作流程分為獲取圖像文件、創建Socket 和建立UDP 數據傳輸等，圖像的截取須導入ImageGrab 庫，調用函數ImageGrab.grab 來實現，實現語句如下：

bbox=(0，0，1920，1080)

im=ImageGrab.grab(bbox)

要建立Socket，首先須選擇Socket 類型以及將連接方式設置為UDP，進行接收端IP 和端口號設置，設置文件路徑和文件相關信息后，調用Send()函數來發送數據。

UDP 客戶端主要實現數據的接收、解碼、超分辨率重建、顯示以及記錄備注坐標等，UDP 客戶端程序設計與服務器發送程序不同，需要綁定本機的IP 地址和端口號。接收端在接收數據后，對JPEG 圖像數據解析后[15]再保存。

將解碼后的每一幀圖像數據輸入到訓練好的超分辨率重建網絡中重建得到高分辨率圖像。高質量圖像由顏色示意亮度Y 和色度Cr、Cb 組成，主控制器在圖像超分辨率重建后輸出YCrCb 數據，HDMI 接口支持直接輸出YCrCb 數據，其顯示驅動包括行場計數器、行場同步信號發生器、顯示有效信號發生器、數字視頻信號發送器和音頻信號發送器。YCrCb 數據在行信號和場信號有效的時候顯示。

在顯示畫面進行標注時，顯示模塊觸控檢測芯片，通過USB 接口對主控制器輸出觸控點的坐標，主控制器在本地記錄保存坐標數據，在坐標點進行畫點、畫線等圖形操作，同時實現顯示終端對圖像等的標注功能。系統原理圖如圖5 所示。

圖5 系統原理圖

4 測試結果顯示

系統測試分為軟硬件測試，其中軟件測試在VS2017軟件環境下用Python 語言編寫發送端和接收端運行的腳本文件。發送端腳本文件實現圖片的截取、UDP 服務器的搭建、制定傳輸格式的功能；接收端腳本文件實現圖片數據的接收、解碼、超分辨率重建、讀取顯示以及記錄備注坐標的功能。測試各部門功能的實現，主要分為桌面數據的截取調試、建立UDP 服務器調試、UDP 數據發送調試、接收端數據接收調試、接收端圖像數據超分辨率重置調試以及顯示調試等部分。

硬件測試時，測試前連接Wi-Fi 模塊的熱點，建立數據傳輸鏈路，發送端運行圖像或視頻文件對應的腳本程序，接收端運行數據接收、高清分辨率重建和顯示的腳本程序，主要測試圖像分辨率。

考慮到智能顯示終端的實際應用，對常見的圖像信息(風云2 號氣象衛星所拍氣象云圖和某公司報表)進行智能顯示，采取發送端發送圖像，接收端接收到發送來的圖像后進行直接顯示和采用超分辨率重建技術后顯示的對比。從圖6、圖7 看出，直接顯示的圖像相較于發送前圖像變得更為模糊，超分辨率重建后的圖像分辨率更高，得到的細節特征更為明顯。對比顯示時間，超分辨率重建后同步顯示延遲時間小于0.001 s，為毫秒級別，證明了本系統實現了圖像或視頻文件的高質量共享并具有傳輸速度快、系統穩定等優點。

圖6 氣象云圖

圖7 某公司報表

5 結論

Wi-Fi 技術傳輸適合用于圖像、視頻等大數據量文件的傳輸。在傳輸過程中受儲多因素影響(如顯示設備、空氣干擾等)，會導致圖像、視頻質量下降，超分辨率重建技術能夠將低質量圖像、視頻轉化成高分辨率、高質量圖像、視頻。本文設計的無線智能投屏系統運用了超分辨率重置技術，能夠實現對于圖片、視頻等的高質量無線投屏顯示，且能同步在顯示端進行標注等操作。相比于傳統的有線傳輸、2.4G 傳輸、GPRS 傳輸等方式，本設計具有設備成本低、信息共享質量高、穩定性好、速度快、觸控坐標解析功能等特點，適合應用在室內辦公、會議室、課堂和家庭等場景。隨著藍光等視頻的出現，基于Wi-Fi 的無線顯示傳輸質量有所下降，后續可在Wi-Fi標準、接收端解碼等方面完善。