基于多核處理器的高清內窺鏡視頻處理系統

何 燦,陳耀武

(1.浙江大學生物醫學工程與儀器科學學院,杭州310027;2.浙江省網絡多媒體技術研究重點實驗室,杭州310027)

基于多核處理器的高清內窺鏡視頻處理系統

何 燦1,2,陳耀武1,2

(1.浙江大學生物醫學工程與儀器科學學院,杭州310027;2.浙江省網絡多媒體技術研究重點實驗室,杭州310027)

設計一個基于TILE-Gx多核處理器的高清醫用電子內窺鏡視頻處理系統。該系統支持2路1080p60高清視頻輸入輸出,以及1路YCbCr422格式高清視頻的實時H.264編解碼,利用現場可編程門陣列為高清視頻數據提供輸入輸出接口,采用4片TILE-Gx多核處理器進行H.264編碼解碼運算,并使用1片TILE-Gx多核處理器完成系統控制、視頻拼接和數據存儲轉發功能。實驗結果表明,該系統的編解碼性能滿足醫用內窺鏡的高分辨率和實時性需求,圖像質量達到了H.264的High Profile級別。

內窺鏡;TILE-Gx處理器;多核處理器;高清視頻處理;現場可編程門陣列;H.264編解碼

1 概述

隨著計算機技術、網絡技術和芯片制造技術等的不斷發展,醫用電子內窺鏡領域對視頻處理系統的要求越來越高,目前最先進的醫用電子內窺鏡視頻處理系統之一是FUJIFILM公司的VP-4450HD［1］,其分辨率可以達到1080i(即1 920×1 080隔行掃描)。本文提出的系統在分辨率上可以達到1080p60(即1 920×1 080逐行掃描,場頻60 Hz),并支持YCbCr422格式實時H.264編解碼［2］,支持畫中畫和畫外畫顯示。

傳統的電子內窺鏡視頻處理系統使用PC配合視頻采集卡［3］或者使用專門的DSP芯片(如TI公司的DaVinci系列)實現視頻編解碼［4］,無法滿足醫用內窺鏡對于分辨率和實時性越來越高的要求,本文系統使用Tilera公司的36核處理器對YCbCr422格式的1080p60高清視頻進行實時的H.264編解碼,系統具有視頻處理性能高、圖像質量好、延時短等特點。

2 系統總體架構和工作原理

系統的總體結構如圖1所示。系統輸入源為兩路1080p60視頻,一路為醫用電子內窺鏡,另一路為其他輔助醫療視頻設備或者高清攝像機;輸出為兩路1080p60視頻,可以選擇為實時視頻輸出或者解碼輸出,支持畫中畫和畫外畫模式視頻輸出。

圖1 系統總體結構

系統基本工作原理是:兩路視頻信號以3G-SDI格式進入系統,經過3G-SDI均衡器和3G-SDI解串器后進入FPGA,FPGA將其轉換為16位寬并行數據后通過PCI-Express總線傳送給TILE-Gx多核處理器,處理器將對視頻原始數據進行編碼和存儲。TILE-Gx多核處理器將輸出視頻數據通過 PCIExpress總線傳送給 FPGA,FPGA將其轉換為SMPTE425M標準［5］的格式后輸出,經過3G-SDI串化器后以3G-SDI格式輸出系統。

3 系統實現

本文系統包括1塊主板和4塊子板,主板主要負責系統控制、視頻輸入輸出、視頻拼接處理和視頻數據存儲等,子板主要負責視頻數據的H.264編碼和解碼。主板與各子板間使用高速連接器連接。下面分別描述主板和子板的設計與實現。

3.1 系統主板設計與實現

系統主板設計與實現如下:

(1)硬件組成

主板硬件組成如圖 2所示,可以分為2個單元——主控單元與采集顯示單元,2個單元通過PCI-Express高速接口互聯。

圖2 主板硬件設計

主控單元負責整個系統的控制,以及對視頻拼接處理。主控單元主要由TILE-Gx8036及外圍設備組成,TILE-Gx8036是Tilera公司推出的一款多核處理器,擁有36顆高性能RISC核心,核心工作頻率為1.2 GHz。該處理器支持豐富的擴展接口,包括: 2個獨立的64 bit存儲 DDR3控制器,最高支持1 600 MT/s的DDR操作;3個Gen2 PCI-Express x4接口;最多4個萬兆以太網即XAUI接口或者16個10/100/1 000 SGMII以太網接口;2個USB2.0接口;4個I2C接口等［6］。

為實現本地存儲功能,選用 Marvell公司的88SE9120作為SATA控制器。88SE9120是一款基于PCI-Express總線的 SATA控制器,提供一個Gen2 PCI-Express x1接口,兼容SATA 3.0標準,支持RAID。本文系統直接將其掛載在主板CPU的PCI-Express0總線上。

由于TILE-Gx8036處理器的PCI-Express接口有限,主板無法直接通過PCI-Express總線與各個子板進行數據傳輸,因此本文系統使用了一顆 PCIExpress Switch芯片對主板CPU的PCI-Express接口進行擴展,Switch芯片選用的是 IDT公司的89HPES32T8G2,這是一款 32-lane,8-port的 Gen2 PCI-Express Switch,最多可提供4個x8或者8個x4的交換接口。PCI-Express Switch芯片掛載在主板CPU的PCI-Express1總線上。

主板處理器的其他外圍設備還包括:2個DDR3 SO-DIMM,1個USB 2.0 PHY和1個千兆以太網PHY。

采集顯示單元負責系統視頻數據的采集和顯示。采集顯示單元以Xilinx公司的XC6VLX130T FPGA為核心。XC6VLX130T屬于Xilinx Virtex-6系列FPGA,擁有128 000個邏輯單元,9 504 Kb內部 Block RAM,支持 64 bit DDR3接口,支持x4 Gen2 PCI-Express接口［7］。本文系統將其掛載在主板CPU的PCI-Express2總線上。FPGA的外圍設備包括1個DDR3 SO-DIMM,2個3G-SDI均衡器, 2個3G-SDI解串器以及2個3G-SDI串化器。

(2)FPGA設計

FPGA總體設計如圖3所示,主要由2個視頻輸入輸出模塊、1個 DDR控制器模塊和1個 PCIExpress控制器模塊組成。2路視頻數據進入FPGA后,首先被2個視頻輸入輸出模塊去掉包頭包尾,得到16 bit YCbCr422的有效視頻數據,有效數據通過DDR控制器存入DDR3內存,當CPU發起PCIExpress讀事務時,DDR控制器將數據從DDR3內存中取出,由 PCI-Express控制器將其發送給 CPU。CPU將待顯示的視頻數據通過PCI-Express總線發送給FPGA,由PCI-Express控制器接收,之后數據通過DDR控制器存入DDR3內存,當視頻輸入輸出模塊需要輸出數據時,DDR控制器將數據從DDR3內存中取出,視頻輸入輸出模塊添加好包頭包尾后將其輸出FPGA送至3G-SDI串化器。

圖3 FPGA功能模塊

系統FPGA需要對外部輸入的兩路1080p60高清視頻數據進行緩存,然后再發送給CPU進行處理;同時,FPGA還需要對 CPU發送來的兩路1080p60高清視頻數據進行緩存,然后再將其輸出。從整體來看,相當于一共有8路1080p60高清視頻數據同時需要由FPGA發送或接收,這對FPGA的控制邏輯以及對外部存儲設備的讀寫速度有較高要求。本文設計擴展了一個 DDR3 SO-DIMM為FPGA提供緩存,數據總線寬度為64 bit,工作時鐘頻率為400 MHz。在DDR控制器中例化了8個FIFO,用于緩存8個讀寫接口的數據,并使用一個狀態機來協調對這8個FIFO的讀寫操作,如圖4所示,狀態機共有9個狀態:系統復位時為IDLE狀態,該狀態下不做任何操作,是其他各狀態的入口和出口狀態;4個讀FIFO寫SDRAM狀態,每一個狀態對應一個FIFO,當對應FIFO的prog_full拉高時進入此狀態,該狀態下從對應 FIFO取出數據并寫入SDRAM;4個讀SDRAM寫FIFO狀態,每一個狀態對應一個FIFO,當對應FIFO的prog_empty拉高時進入此狀態,該狀態下從SDRAM取出數據并寫入對應FIFO。

圖4 FPGA DDR控制狀態機

(3)軟件設計

主板CPU的軟件架構如圖5所示,主板軟件的核心是視頻拼接程序。

圖5 主板CPU軟件架構

視頻拼接程序由9個核心完成,首先由主核心將內存里的一幀主畫面數據分為8個連續的塊,通知8個子核對各個塊進行縮小或放大處理［8］并存儲至目標區域,然后將一幀子畫面數據做同樣的處理,并疊加至上述目標區域,根據對2個畫面的不同縮放處理和不同位置的疊加,可以實現多種畫中畫與畫外畫顯示功能。

3.2 系統子板設計與實現

系統子板設計與實現過程如下:

(1)硬件組成

子板總體硬件設計較簡單,主要由 TILEGx8036及外圍設備組成,外圍設備包括8片2Gb的DDR3 SDRAM、1個千兆以太網PHY和一組高速連接器。系統共有4塊子板,其中,3塊子板負責在主板處理器的協調下對一路1080p60高清視頻進行實時H.264編碼;1塊子板負責H.264解碼。各子板通過 Gen2 x4 PCI-Express總線與主板進行數據交互。

(2)軟件設計

子板CPU的軟件架構與主板CPU類似,子板軟件的核心是H.264的編碼/解碼程序。

H.264編碼的流程如圖6所示,為充分利用多核處理器的優勢提高系統編碼性能,做了3個層次的并行化處理［9］:

1)并行的GOP(Group of Picture)劃分,主板CPU以GOP為單位依次循環向3個編碼子板發送原始視頻數據,3個編碼子板同時執行編碼任務,編碼完成后,子板再通過PCI-Express總線將數據傳回主板CPU。

2)基于數據單元劃分的幀級并行編碼設計,將每幀圖像劃分成15個片(Slice),用15個運行在不同核心上的進程分別編碼。

3)基于功能單元劃分的宏塊級并行編碼設計,在基于數據單元劃分的幀級并行編碼架構基礎下,將編碼功能單元進一步分為預測功能單元和編碼重建功能單元,在數據并行的基礎上,每個進程創建出一個線程用來執行預測功能單元,同時為該線程分配一個獨立的核心,主線程則用來執行編碼重建,所以每個編碼子板CPU里共有30個核心用于實現H.264編碼功能。

圖6 H.264編碼流程

H.264解碼的流程如圖7所示,解碼器共使用29個核心,由一塊解碼子板提供,其中1個核心作為主核心,負責整個編碼流程的調度,其余28個核心分為7組,并行地執行解碼任務。首先,主核心將待解碼的原始視頻數據以GOP為單位分為7組,然后通知7個核心組開始解碼,每個核心組里的4個核心以行為單位,使用流水線的方式完成解碼任務中的各個子任務,實現了解碼的并行化處理,提高了解碼效率［10］。

圖7 H.264解碼流程

4 系統性能

系統性能如下:

(1)接口性能

測試使用2臺1080p60高清攝像機提供輸入源,使用2臺全高清顯示器承載輸出,實際效果如圖8所示,系統運行穩定,顯示正確,證明系統接口性能滿足要求。

圖8 系統實際運行效果

(2)編碼性能

選用7段YCbCr422格式視頻序列對系統編碼性能進行測試,碼率設置為60 Mb/s,熵編碼方式為CABAC編碼［11］,GOP設置為15。測試結果如表1所示,結果表明系統編碼性能能夠達到60 fps以上,滿足系統要求。

表1 系統編碼性能 fps

(3)解碼性能

選用 7段經過本文系統編碼的視頻序列(YCbCr422格式,CABAC編碼,GOP=15)對系統解碼性能進行測試。測試結果如表2所示,結果表明系統解碼性能能夠達到60 fps以上,滿足系統要求。

表2 系統解碼性能 fps

(4)圖像質量

通過與使用H.264 JM18.0編碼器的PC在相同編碼選項、相近碼率下比較PSNR值來對本文系統的圖像質量進行客觀評價［12］。測試選用7段YCbCr422格式,1080p60的視頻序列,分別在本文系統和PC上進行編碼,GOP設置為 15,熵編碼方式選擇為CABAC編碼。PC上使用的編碼器是H.264 JM18.0編碼器,Profile選項設置為High Profile。測試結果如表3所示,由表中的PSNR值的對比可以看出,本文系統圖像質量達到了H.264的High Profile級別。

表3 峰值性嗓比對比

5 結束語

本文提出一種基于Tilera多核處理器和FPGA的嵌入式高清醫用電子內窺鏡視頻處理系統設計方案,系統使用Tilera多核處理器完成系統控制和視頻的實時H.264編解碼,通過Xilinx Virtex-6 FPGA實現多路視頻的輸入輸出。相對于其他傳統的醫用電子內窺鏡視頻處理系統,本文系統能夠支持YCbCr422格式1080p60高清視頻處理,處理性能高、圖像質量好、功能穩定可靠。隨著未來核心數更多、性能更高的多核處理器的出現,下一步將對本文系統實現升級,以提供更高的視頻處理性能和更好的圖像質量。

［1］ Fujifilm Corporation. Electronic Video Endoscopy System EPX-4450HD Specification［EB/OL］.(2011-02-19).http://www.fujifilm.com/products/medical/ brochures/pdf/index/epx4450hd.pdf.

［2］ 夏 齡,舒 濤.一種H.264/AVC視頻編碼并行算法［J］.計算機工程,2013,39(4):314-317.

［3］ Park J A,Chang M.Development of a Low-cost PC-based Endoscope System ［C］//Proceedings of ICHIT'06.Washington D.C.,USA:IEEE Computer Society,2006: 109-115.

［4］ 李 侃,陳耀武.面向醫用電子內窺鏡的高清視頻處理系統［J］.計算機工程,2011,37(23):261-263,266.

［5］ SMPTE.425M-2008SMPTE Standard for 3GB/s Signal/Data Serial Interface——Source Image Format Mapping［S］.2008.

［6］ Tilera Corporation.TILE-Gx8036 Processor Specification Brief［EB/OL］.(2011-05-17).http://www.tilera.com/ sites/default/files/productbriefs/TILE-Gx8036_PB033-02_ web.pdf.

［7］ Xilinx,Inc..Virtex-6 Family Overview［EB/OL］.(2012-02-19).http://www.xilinx.com/support/documentation/ data_sheets/ds150.pdf.

［8］ Gonzalez R C,Woods R E.Digital Image Processing［M］.北京:電子工業出版社,2010.

［9］ 于俊清,李 江,魏海濤,等.基于同構多核處理器的H.264多粒度并行編碼器［J］.計算機學報,2009,32 (6):1100-1109.

［10］ 郭 倩,陳耀武.基于功能模塊的H.264并行解碼算法［J］.計算機工程,2010,36(23):231-233.

［11］ Marpe D,Schwarz H,Wiegand T.Context-based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard［J］.IEEE Transactions actions on Circuits and Systems for Video Technology, 2003,13(7):620-636.

［12］ 蔣剛毅,黃大江,王 旭,等.圖像質量評價方法研究進展［J］.電子與信息學報,2010,32(1):219-226.

編輯 索書志

High Definition Endoscope Video Processing System Based on Multi-core Processor

HE Can1,2,CHEN Yaowu1,2
(1.College of Biomedical Engineering and Instrument Science,Zhejiang University,Hangzhou 310027,China;
2.Zhejiang Provincial Key Laboratory for Network Multimedia Technologies,Hangzhou 310027,China)

A solution of embedded endoscope video processing system based on TILE-Gx multicore processor is designed.The system supports 2-channel input and output port for 1080p60 HD video data and real-time H.264encoding/ decoding of YCbCr422 format video.FPGA is applied to realize the input/output port of video data.4 pieces of TILE-Gx processors are applied to encode/decode,another TILE-Gx processor is applied to the system management,video mixing, and hard disk storage.Experimental results show that,the performance of encoding and decoding fulfills the requirement of high definition and real-time of endoscope,and the image quality reaches H.264 High Profile level.

endoscope;TILE-Gx processor;multicore processor;High Definition(HD)video processing;Field Programmable Gate Array(FPGA);H.264 encoding and decoding

1000-3428(2014)111-0001-05

A

TP391

10.3969/j.issn.1000-3428.2014.11.001

中央高校基本科研業務費專項基金資助項目;浙江省重點科技創新團隊基金資助項目(2011R09021-06)。

何 燦(1990-),男,碩士研究生,主研方向:嵌入式系統;陳耀武,教授、博士生導師。

2013-11-29

2013-12-24E-mail:canhe890@zju.edu.cn

中文引用格式:何 燦,陳耀武.基于多核處理器的高清內窺鏡視頻處理系統［J］.計算機工程,2014,40(11):1-5.

英文引用格式:He Can,Chen Yaowu.High Definition Endoscope Video Processing System Based on Multi-core Processor［J］.Computer Engineering,2014,40(11):1-5.