一種基于i.MX6Q 的智能電子后視鏡系統設計方法

張宏寬，樓勇亮，胡權，顧晨，舒信陽

（數源科技股份有限公司，浙江杭州 310012）

公交和旅游大巴等大型車輛的車身長，轉彎時前內輪轉彎半徑與后內輪轉彎半徑不同，存在“內輪差”。傳統后視鏡采用的是玻璃反光鏡，特別是在雨雪、大霧等天氣情況下，存在視野盲區和視覺模糊問題，駕駛員無法實時了解車外障礙物和行人車輛信息[1]，存在安全隱患。隨著嵌入式流媒體技術和智能化技術的快速發展[2-3]，電子后視鏡[4-6]能夠為司機提供行車安全輔助作用，通過在車內左、右A 柱兩側安裝顯示屏，實時采集車外盲區的視頻圖像，可以讓司機實時了解到車外狀況，為安全駕駛提供了保障[7]。

1 系統整體設計

該文所設計的電子后視鏡，采用一路主機驅動兩路高清屏的設計方案，主要由i.MX6Q CPU 主控模塊、左右顯示屏、光感、SD 卡、4 路720P 的數字攝像頭組成。系統采用NXP 公司的車規SOC 處理器i.MX6Q，其為ARM Cortex-A9架構，有四個內核，主頻是1.2 GHz。它擁有三個Vivante的GPU，分別是GC2000、GC320、GC355。GC2000 負責3D 圖形的加速，GC320負責2D 圖形的加速，GC355 負責矢量圖形的加速[8]。i.MX6Q 有兩個IPU，能夠接收MIPI CSI-2 格式數據，通過LDB 控制到左顯示屏，HDMI 控制輸出到右顯示屏。i.MX6Q 視頻處理單元VPU 支持MJPG、MPEG-4、H.263 和H.264 編解碼格式[9-10]，可以將采集到的數據進行編碼壓縮存儲到SD 卡。電子后視鏡的整體系統框架圖如圖1 所示。

BH1750FVI 光感模塊安裝在顯示屏上，用于感知光照強度。光感能夠根據光照的強弱動態改變數值，用于i.MX6Q 自動調節顯示屏的背光亮度，實現環境光自適應控制。

系統的主要信號流向為4 路分辨率為720P、幀率為30 FPS 的數字攝像頭產生的數字視頻圖像通過同軸線纜傳輸到i.MX6Q 主機，再進行格式轉換，輸出到左右顯示屏，同時將視頻流進行壓縮編碼存儲到SD 卡并且通過光感調節屏幕的背光亮度。

2 硬件設計

i.MX6Q 主機由內存DDR、EMMC 和i.MX6Q CPU組成的最小子系統，加上Maxim 的MAX9286 和TI 的DS90UB947 和DS90UB949 組成。MAX9286 芯片集成四通道1.5 Gbps GMSL 解串器，能夠接收和自動同步來自四個串行器的視頻輸入和CSI-2 輸出[11]，主機的框架圖如圖2 所示。

在設計中MAX9286 接收4 路分辨率為720P、幀率為30 FPS 的數字攝像頭產生的影像數據，并且進行格式轉換成CSI-2 輸出到i.MX6Q，經IPU 單元將CSI-2 格式的數據轉換成4 路720P 的YUV422 格式數據，通過使用DMA 方式傳輸到各自指定的內存塊上，便于GPU 進行處理。同時，IPU 需要把內存中720P、YUV422 的格式數據轉換成480P、YUV420 格式，通過DMA 方式傳輸到指定的內存物理地址上，用于VPU 進行編碼壓縮處理，并存儲到SD 卡內。

i.MX6Q 內部的硬件GPU 模塊GC320 主要負責2D 圖像的處理，它將IPU 處理后傳輸到內存中的720P、YUV422 數據轉成RGB 格式，并且對其中的2路視頻數據進行鏡像操作，通過使用DMA 方式將RGB 數據傳輸到framebuffer 指定的物理內存地址上，用于顯示屏的顯示。

顯示接口主要是使用串行總線FPD-Link III（Flat Panel Display Link III），以實現單個差分鏈路高速視頻數據傳輸和雙向全雙工的通信。DS90UB947是一款OpenLDI 到FPD-Link III 的橋接器件，可串行化OpenLDI（LVDS）的輸入并支持WUXGA 和1080P的視頻分辨率（24 位色深）[12]。DS90UB949 是HDMI到FPD-Link III 的橋接器件。該器件可串行化HDMI v1.4b 的輸入同時支持WUXGA 和1 080P 的視頻分辨率（24位色深）[13]。DS90UB948是FPD-Link III解串器，與DS90UB949/947 串行器配合使用，可將單通道或雙通道FPD-Link III 流轉換成FPD-Link(OpenLDI) 接口格式[14]，它能夠從單通道或雙通道FPD-Link III 串行流中恢復數據，然后將其轉換為雙像素8 個LVDS 數據通道+時鐘。

該文采用雙屏驅動顯示方案，采用DS90UB947串行器和DS90UB948 解串器配合，DS90UB949 串行器和DS90UB948 解串器配合。i.MX6Q 的顯示輸出有多種方式，該文通過i.MX6Q 的LDB 模塊輸出低壓差分信號（LVDS）到DS90UB947 串行器，經過FPDLink III 串行總線到DS90UB948 解串器，最后輸出LVDS信號到左顯示屏。另一路通過i.MX6Q的HDMI控制器輸出HDMI 信號到DS90UB949 串行器，經過FPD-Link III 串行總線到DS90UB948 解串器，最后輸出LVDS 信號到右顯示屏，完成雙屏顯示功能。

FPD-Link III 接口支持通過同一條差分鏈路實現雙向全雙工的通信。將BH1750FVI 光感通過I2C接口接入DS90UB948解串器，CPU 就能夠把I2C 信號通過DS90UB947 串行器、FPD-Link 總線以及DS90 UB948 解串器透傳到光感傳感器，間接實現對它的控制。通過讀取光感傳感器值獲得光照強度值，達到對顯示屏的背光亮度進行調節。

3 軟件設計

在i.MX6Q 主機采用Linux 系統，版本為V4.1.15，設計采用的數字攝像頭幀率為30 FPS，分辨率為720P。為充分利用CPU 的多核架構，軟件上采用多線程設計，軟件架構圖如圖3 所示。在應用程序Main 主線程中派生出一個視頻處理線程、一個背光控制線程、兩個視頻接口自動偵測與恢復機制的線程和四個視頻存儲線程。由于在視頻處理線程中采集到的數據既要用于顯示，又需要提供給視頻存儲線程，這就涉及到多個線程搶占一個資源的情況和線程間的同步問題。電子后視鏡的主要用途是顯示，在視頻處理線程中不能對公共資源進行限制，不然會影響顯示的延時時間，而對于視頻存儲線程又需要采集數據。因此為了兼顧視頻存儲的需求，在視頻存儲線程中需要增加緩沖區，將視頻處理線程中采集到的數據復制到緩沖區中，在不影響顯示延時時間的同時保證視頻存儲線程的正常工作。背光控制線程和視頻接口自動偵測與恢復機制的線程是各自獨立的，能分別進行工作。

3.1 視頻處理線程

視頻處理線程分為初始化參數、視頻圖像的采集、圖像格式的轉換處理和圖像顯示四部分。V4L2是Linux 中關于視頻設備的內核驅動模塊。該文是基于V4L2 框架與顯示系統來進行編程的，步驟主要如下：

1）分別打開視頻設備文件（/dev/video0—video3），獲得四個文件的描述符；

2）通過獲得視頻設備文件描述符查詢視頻設備的信息和功能，例如，判斷是否是一個視頻捕捉設備并且具有數據流控制模式；

3）設置視頻的制式和幀格式；

4）分別打開顯示設備文件（/dev/fb0 和fb2），獲得兩個顯示文件描述符；

5）從Framebuffer 中獲取相應顯示設備的可變信息（Framebuffer 的長度、寬度以及顏色深度）；

6）從Framebuffer 獲取相應顯示設備的信息（Framebuffer 的起始物理地址）；

7）設置Framebuffer 的顯存大小是實際屏幕大小的3 倍；

8）向內存申請連續的物理內存；

9）將申請到的物理內存作為幀緩沖區；

10）使幀緩沖區全部入隊列，以便存放采集到的數據；

11）開始視頻采集；

12）出隊列以取得已采集數據的幀緩沖以及原始采集數據；

13）將原始YUV422 格式數據轉成RGBA8888，用于屏幕顯示；

14）將原始采集的YUV422格式數據轉成YUV420,將分辨率裝換為480P，并復制到用于錄像線程的緩沖區中作為原始數據；

15）將幀緩沖區重新入隊列,這樣可以循環采集；

16）停止視頻的采集；

17）關閉視頻設備。

電子后視鏡的4 路攝像頭需要分別投在車內A柱的左、右兩個屏上顯示，因此需要作分屏操作。以車身為參照物，1/3 屏顯示A 柱前盲區，對應映射的攝像頭需朝前，采集到的數據顯示到車內屏上會產生左右鏡像。2/3 屏顯示后面的盲區，對應映射的攝像頭需朝后，不會產生鏡像。因此需要對朝前攝像頭采集到的數據進行鏡像矯正后再顯示到屏上。

3.2 背光控制線程

在背光控制線程中，需要將光感傳感器的驅動注冊到內核中，再根據數據手冊進行上電，讀ID 判斷光感傳感器設備是否可以正常工作。在應用程序中就可以對光感進行定制化了，主要步驟如下：

1）打開光感傳感器所掛載的I2C 總線，獲得文件描述符；

2）打開背光亮度值文件描述符；

3）通過宏I2C_SLAVE，設置光感的設備地址；

4）讀取光感傳感器的亮度值；

5）根據光感傳感器和背光亮度值的對照表，調節顯示器背光亮度；

6）延時200 ms，回到第4）步。

3.3 視頻接口自動偵測與恢復機制的線程

由i.MX6Q 輸出視頻信號到DS90UB947，經過FPD-link 線再到DS90UB948，最后輸出到顯示屏上。在FPD-link 線束接口一側，由于車輛行駛過程中車載設備受到路面顛簸振動，會導致視頻接口的瞬間松動，引起顯示屏的圖像丟失，為解決線束接口瞬間抖動引起的斷線重連，需要對DS90UB948 初始化才能夠讓顯示屏重新顯示圖像。因此需要通過DS90UB947 不斷偵測DS90UB948 是否連接正常，當出現線束松開再接上的異常情況時，需對DS90UB948進行重新初始化才能讓顯示屏正常工作。該設計中有2 路視頻接口自動偵測與恢復機制的線程，其過程是相似的，因此只做其中一路的說明，如圖4 所示。

應用程序的具體流程步驟如下：

1）初始化變量flag，并清零；

2）打開DS90UB947 所掛載的I2C 總線，獲得文件描述符；

3）通過宏I2C_SLAVE，設置DS90UB947 和DS 90UB948 的設備地址；

4）初始 化DS90UB947 和DS90UB948 的相關寄存器；

5）讀取DS90UB947 的寄存器，判斷連接是否正常；

6）如果連接斷開，將設置flag 為1，并回到第5）步。如果連接正常，將到第7）步執行；

7）判斷flag 是否為1，如果flag 不為1，則回到第5）步執行；

8）設置DS90UB948 的相關寄存器，能讓屏幕重新點亮，并把flag 清零，再回到第5）步執行。

3.4 視頻存儲線程

在視頻存儲線程中，需要對攝像頭采集的數據進行H264 編碼。有兩種編碼的方式：使用CPU 或者VPU 硬件模塊。由于使用CPU 編碼的方式，會導致編碼的實時性不夠，編碼的圖像缺失嚴重。而使用VPU 模塊編碼的效率高，能夠滿足要求。因此，采用VPU 模塊來實現編碼[15-16]。由于四個視頻存儲線程是相似的，因此流程圖中只畫了其中的一路，如圖5所示。

具體的編程步驟如下：

1）使用讀寫方式打開文件，路徑為SD 卡所在系統文件目錄；

2）對VPU 硬件資源進行初始化；

3）打開一個編碼器實例；

4）獲得編碼器的關鍵參數，如需要的幀緩沖區大小等；

5）依據上一步操作獲取的信息，申請幀緩沖區；

6）將IPU 轉換后的YUV420、480P 格式數據拷貝到幀緩沖區中；

7）生成圖像編碼后的數據結構；

8）開始當前圖像的H264 編碼；

9）等待當前圖像編碼完成，則產生中斷；

10）檢查編碼信息并將編碼壓縮后的數據寫到SD 卡里；

11）回到第5）步進行循環操作；

12）關閉當前打開的編碼器實例；

13）釋放VPU 的硬件資源。

通過上述幾個線程的循環操作，實現了4 路攝像頭的數據采集、顯示以及存儲壓縮，并能根據環境光動態地調節屏幕背光亮度。

4 測試驗證

車載設備關鍵的技術指標是溫度參數，因此實驗階段將模擬高低溫環境對設備的影響。車載設備要求能夠在-30～80 ℃范圍內都能夠穩定運行，因此需要對-30 ℃、常溫25 ℃和80 ℃分別進行實驗，以保證設備的可靠運行。

首先，對常溫25 ℃下設備的運行進行了測試，如圖6 所示。可以看出在設備啟動階段CPU 的溫度為25 ℃，在經過4 小時運行后，穩定在50 ℃。在整個24 小時的實驗過程中，設備運行穩定。

再通過恒溫箱將溫度設置在80 ℃下進行設備的可靠性實驗，如圖7 所示。設備在啟動階段CPU的溫度為80 ℃，經過30 分鐘運行后，CPU 溫度穩定在91.2 ℃。在整個24 小時的實驗過程中，設備運行穩定。

最后，通過恒溫箱將溫度設置在-30 ℃下進行設備的可靠性實驗，如圖8 所示。設備在啟動階段CPU的溫度為-30 ℃，經過30 分鐘運行后，CPU 溫度穩定在-21 ℃。在24 小時的實驗過程中，設備運行穩定。

5 結束語

針對傳統玻璃后視鏡視野盲區問題，該文給出了基于i.MX6Q 的智能電子后視鏡系統設計方法，通過設計一機雙屏系統架構和視頻接口的自動偵測和恢復機制，有效解決了車內視頻信號的抗噪聲和傳輸穩定性問題，通過環境實驗和跑車測試，系統性能得到了驗證，能夠滿足預期目標，對車輛運營起到安全輔助作用，具有很好的市場應用前景。