基于Linux的模塊化圖像采集系統設計

余靚輝 ，吳 剛 ，石金進

（1.三峽大學機械與動力學院，湖北 宜昌 443002；2.福建工程學院交通學院，福建 福州 350118）

圖像采集技術是利用攝像頭實時獲取圖像信息的手段[1]，圖像信息能夠更加真實地反映事物的外觀特點，且精確程度較高。因此，該技術在工業和科學領域應用越來越廣泛并受到相關研究人員的關注，尤其是在智能機械領域，但也隨之呈現出不足之處。傳統的圖像采集系統依靠攝像頭進行拍攝，而后期的顯示處理則需依靠個人計算機（Personal Computer,PC），一臺智能機器配備一臺PC，對于空間有限的工業安裝非常不友好，并且成本和功耗都較高。綜上所述，本文對傳統的圖像采集系統進行改進，設計了一種基于Linux的模塊化圖像采集系統[2]，該系統所需體積小、成本低，可以滿足大部分智能機械需求。

1 系統總體架構

該圖像采集系統設計主要分為硬件和軟件兩個部分。硬件部分主要包括主控芯片、圖像采集模塊、圖像顯示模塊和數據傳輸模塊；軟件部分主要包括嵌入式Linux系統、外圍設備的驅動程序以及圖像采集與顯示流程。系統總體架構如圖1所示。

圖1 系統總體架構

2 硬件結構設計

圖像采集系統的硬件平臺設計方案采用主控開發板加外圍設備的方式，硬件結構框圖如圖2所示。

圖2 硬件結構框圖

主控芯片使用的是國產廠商瑞芯微生產的RK3399[3]，該芯片一共有6個核心處理器，主頻最高可達2.0 GHz。另外，此芯片支持千兆以太網網絡通信，接口資源豐富，支持USB3.0、HDMI、MIPI雙攝像頭等設備接口，整體性能優異。在功能上也有很大的優勢，能夠播放各種超高清4K視頻，能處理復雜的互動操作等。系統通過攝像頭采集圖像信息，采集完的圖像信息經過ISP編碼壓縮[4]，而后通過通用串行總線（Universal Serial Bus, USB）Type-C接口傳輸至操作系統進行解碼處理，系統處理后的圖像再通過高清多媒體接口（High Definition Multimedia Interface, HDMI）傳輸至顯示屏進行顯示。而最終的圖像信息需提供給用戶分析儲存，因此在上述基礎上添加了以太網傳輸模塊，用戶可通過以太網網線直連，將圖像信息高速傳輸至PC。

2.1 圖像采集模塊

圖像采集模塊采用第三代嵌入式圖像采集技術[5]，該技術可以提高圖像實時性，增大傳輸距離，提高圖像質量，同時還能夠對采集到的圖像進行高速壓縮處理，來降低視頻圖像對傳輸速率和存儲空間的要求。在接口設計上采用Type-C接口，它是USB的一種硬件接口標準，集充電、顯示、數據傳輸等功能于一身[6]。Type-C接口最大的特點是支持正反兩個方向插入，傳輸速度可達10 GB/s，向下兼容USB1.0和USB2.0，并且支持熱插拔。在Linux系統下，Type-C有Ⅴ4L2標準協議支持，并且可以將驅動加載于系統當中，因此非常適合應用在獲取和傳輸圖像數據的過程中，其電路原理圖如圖3所示。

圖3 Type-C電路原理圖

攝像頭在Type-C接口正常工作只需要4根線，兩根差分信號線DN和DP用于數據傳輸，ⅤBUS用于給外圍設備提供電源和GND，保證接口的通信正常。

2.2 圖像顯示模塊

圖像顯示模塊采用HDMI接口，它是一種較新的視頻和音頻傳輸接口[7]，目前在功能上已基本替代ⅤGA（Ⅴideo Graphics Array）接口。相較于ⅤGA，HDMI可以傳輸音頻且插拔方便，簡化了設備的接口和連線，也提供了更高的數據傳輸帶寬，能夠傳輸高清無壓的視頻和音頻信息，其電路原理圖如圖4所示。

圖4 HDMI接口電路原理圖

開發板先給HDMI模塊提供5 Ⅴ電源，供電正常后，該模塊會檢測IIC總線通信是否成功，此處可檢測HDMI的熱插拔功能是否正常。通信成功后，HDMI接口只發送、不接收，以此完成數字圖像信息的傳輸。

2.3 以太網傳輸模塊

以太網是現實世界中最普遍的一種計算機網絡，它實現了網絡上無線電系統多個節點發送信息的想法。相較于目前使用廣泛的無線局域網，以太網網線直連的穩定性、抗干擾性則要強很多，也正因此特性，常常選擇使用以太網進行系統的圖像數據傳輸，其電路原理圖如圖5所示。

圖5 以太網模塊電路原理圖

該模塊含4對差分信號線（MDI0+/MDI0-,MDI1+/MDI1-, MDI2+/MDI2-, MDI3+/MDI3-），差分信號線兩對發送兩對接收，等長設計，旨在解決千兆以太網通信緩慢和丟包的問題。利用修改線長TXDLY/RXDLY使4對差分信號線延時統一，實現千兆以太網的最佳通信[8]。

2.4 其他模塊

除了以上的圖像采集、圖像顯示和以太網傳輸模塊，還需要其他模塊的支撐，例如用于測試的串口模塊，通過串口通信的方式實現核心板與PC的連接[9]，便于程序開發和功能調試；還有開發板必需的存儲模塊EMMC，該模塊可以提供開發板固件的燒錄地址，使開發板得以正常運行。

3 系統程序設計

該圖像采集系統主要包括底層驅動開發和上層應用開發兩大部分。

底層驅動是與硬件直接聯系在一起的，包含了引導加載程序、Linux操作系統內核、根文件系統和外圍設備的驅動程序，它們組合在一起形成了一個完整的嵌入式Linux系統，并運行在核心板上。

上層應用是根據底層驅動提供的設備節點去通信和調用的外圍設備，在底層驅動的基礎上，設計ISP圖像編解碼和圖像顯示的程序[10]。

3.1 嵌入式Linux系統搭建

系統搭建主要由以下幾個步驟完成。

步驟1：移植引導加載程序，完成內存初始化等基本工作，啟動內核并把CPU控制權交給內核。

步驟2：定制Linux操作系統內核，為上層應用提供必需的設備節點，裁剪不需要的功能，提升內核的啟動運行速度。

步驟3：搭建根文件系統，為系統提供配置文件載體，為上層應用程序提供所需的穩定環境。

步驟4：修改內存地址分區表，使程序能夠燒錄并穩定運行在開發板中。

3.2 圖像采集與顯示流程

模塊化圖像采集系統流程如圖6所示。

圖6 圖像采集流程圖

由攝像頭采集得到外部最原始的圖像信息，而后，ISP模塊對圖像進行處理，將最原始的YUⅤ格式圖像信息轉換為能更好地被該系統處理的RGB格式，對轉換后的圖像信息進行編碼壓縮，便于傳輸；壓縮后的文件經Type-C高速傳輸至主控RK3399，主控對文件進行解碼后可通過千兆以太網將信息傳輸至PC查看分析，也可直接通過HDMI接口將信息傳輸至顯示屏上顯示。

4 系統測試

本系統的最終目的是實現核心板替代PC，因此，最重要的是保證外圍設備驅動在核心板的程序下正常運行，通過內核配置驅動，可在文件系統中查看外圍設備相應的設備節點，同時，攝像頭采集的圖像信息會在顯示屏上實時顯示，如圖7所示。

圖7 攝像頭采圖

攝像頭采集的圖像信息在HDMI顯示屏上顯示正常，并且可以設置攝像頭的亮度、曝光、白平衡等信息。為保證以太網高速傳輸的功能正常，對網口網速也進行了測試，如圖8所示。

圖8 以太網測試

由圖8可知，該模塊網速平均可達938 MB/s，穩定且不丟包，滿足該系統高速傳輸功能需求。

5 結束語

本文提出了一種基于Linux的模塊化圖像采集系統，該系統可以采集外部圖像信息，將采集的信息實時有效地傳輸至顯示屏顯示，并且可以通過以太網傳輸模塊將圖像數據高速傳輸至PC端供用戶查看分析。該系統相較于傳統的圖像采集系統，具有體積小、成本低、傳輸速度快等特點，適合工廠批量化生產，在未來的農業生產、醫療器械、產品檢測等智能機械領域有著非常廣闊的應用前景。