基于CPLD芯片控制的視頻圖像處理系統設計

陳建國，康海靜，蘭 英

(成都理工大學 工程技術學院，四川 樂山 614000)

0 引言

CPLD芯片也叫復雜可編程邏輯器件，常應用于數字化電路系統中，為減少關聯器件使用數量，進而縮小PCB板件的存儲空間，獨立芯片的邏輯信息門數值已突破了百萬。為實現數據信息的反復編程、使用與擦除，在外圍電路保持不變的情況下，每一路執行軟件可直接控制一種硬件執行設備，不僅大大提升了數字化電路系統的應用靈活性，也大幅縮短了數據文件編程所需的消耗時間[1]。相較于國外最早使用的GAL器件來說，CPLD芯片的應用結構更為復雜，可按照用戶的實際需求，構造數字集成電路的邏輯功能，也可通過目標文件下載的方式，將原編程代碼傳送至客戶端主機中。

視頻圖像處理的發展依賴于計算機技術的應用與實施，它是信息編程領域中非常活躍的一部分，大多數情況下，視頻圖像處理基本等同于計算機的連續圖像處理[2]。傳統多路視頻處理手段雖能直接獲取智能控制信號的信息路數，但隨著視頻圖像覆蓋空間的增大，數據信息的處理及時性開始迅速下降，圖像內空間冗余水平的大幅提升。為解決此問題，引入CPLD芯片控制原理，在VGA顯示模塊等多個硬件執行設備的支持下，搭建一種新型的視頻圖像處理系統，一方面優化了圖像分數的像素差值參量，另一方面也實現了數據包緩沖區內的信息按需排序。

1 系統結構及原理

視頻圖像處理系統主要由CPLD存儲模塊、視頻圖像采集模塊、圖像邊緣檢測模塊、VGA視頻圖像顯示模塊、圖像源路數智能控制以及視頻流播放設計組成。其系統結構及原理如圖1所示。

圖1 系統結構及原理

CPLD存儲模塊主要負責暫存視頻圖像相關數據信息，其中，視頻圖像多線程控制過程中，所有視頻圖像信號只能存儲在該模塊內。視頻圖像采集模塊利用結構化導線，經過視頻流輸入接口，加工視頻流數據，整合處理已輸入視頻圖像，進入下級處理設備。圖像邊緣檢測模塊主要負責制定視頻流處理相關設備執行指令，釋放暫存的視頻流文件。VGA視頻圖像顯示模塊主要將圖像數據流轉化為視頻流，提取待處理圖像數據，通過信息流接口元件，生成完整的數據流參量，協調視頻圖像的存儲形式，匹配視頻圖像控制處理行為。圖像源路數智能控制是利用分數像素的運動補償原理，優化圖像像素差，根據視頻圖像輸入信號路數，設置子窗口實時顯示位置。視頻流播放設計是利用多線程節點，完成系統內部視頻進程聯合化控制處理，排序數據包緩沖區域內信息參量，實現視頻圖像數據的同步傳輸，提取采集模塊中的數據信息，通過傳輸信道，反饋給回VGA視頻圖像顯示模塊。綜上所述，實現基于CPLD芯片控制的視頻圖像處理系統設計。

2 視頻圖像處理系統的硬件執行方案

視頻圖像處理系統的硬件執行環境由CPLD存儲模塊、視頻圖像采集模塊、圖像邊緣檢測模塊、VGA視頻圖像顯示模塊四部分組成，具體搭建方法如下。

2.1 CPLD存儲模塊

CPLD存儲模塊負責暫存與視頻圖像相關的數據信息，由LVTH存儲器、D/A轉換器、TTL芯片、DAC芯片、視頻流傳輸導線5類結構主體共同組成。CPLD存儲模塊結構如圖1所示。

圖2中，視頻流傳輸導線連接了LVTH存儲器與下級圖像處理結構，可將負載于其中的流通數據轉化成束狀傳輸結構，總體執行功能相當于CPLD芯片控制結構中的信息傳導設備。LVTH存儲器是視頻圖像數據信息的直屬暫存元件，在系統運行過程中始終保持連續性輸出狀態，從而使傳輸導線中的視頻流信息具備較強的調度積極性[3]。D/A轉換器具備兩種接入狀態，視頻流信息保持分散輸入形式時，該原件實施數據參量的聚集與整合；視頻流信息保持束狀輸入形式時，該原件實施數據參量的分散與重組，但總體工作模式始終與CPLD存儲模塊保持一致。TTL芯片、DAC芯片同時負載于視頻流傳輸導線下端，可根據圖像數據的實際輸出速率，更改元件設備的接入形式，從而更好匹配CPLD存儲模塊內的暫存信息連接行為。

圖2 CPLD存儲模塊結構圖

2.2 視頻圖像采集模塊

視頻圖像采集模塊與CPLD存儲模塊直接相連，視頻流信息可借助結構化導線，經過輸入接口，從上級系統元件進入下級處理設備之中。視頻圖像采集模塊結構如圖3所示。

圖3 視頻圖像采集模塊結構圖

圖3中，模塊中部設置兩塊型號相同、但功能不同的傳感芯片，分別負責視頻圖像中的信息屬性分析與CPLD芯片的控制功能判定。從結構化角度來看，兩塊傳感芯片同時起到承上啟下的圖像信息采集傳輸作用，可在保障視頻流輸入穩定性的同時，解決連續空間節點的冗余占據問題[4-5]。CMOS圖像信息加工元件具備較強的視頻流數據加工能力，可在Device芯片的作用下，精準提取傳輸視頻中的冗余可控節點，并按照CPLD芯片的基本控制原則，將剩余信息注入連續視頻文件中。CCD耦合芯片是視頻圖像采集模塊的核心搭建設備，負責已輸入視頻圖像的集中性處理與整合，并將篩選后的束狀信息數據分配至下級系統元件之中。

2.3 圖像邊緣檢測模塊

圖像邊緣檢測模塊負責制定與視頻流處理相關的設備執行指令，分別與視頻圖像采集模塊及VGA顯示模塊相連。圖像邊緣檢測模塊結構如圖4所示。

圖4 圖像邊緣檢測模塊結構圖

圖4中，內部負載了4個不同的小型CPLD控制芯片，可有效感知圖像信息在視頻流中的傳輸速率，進而協調處理系統內連續進程節點間的冗余占據關系。Ⅰ型像素卷積設備、Ⅱ型像素卷積設備保持并列相連的關系，通常情況下，視頻圖像中的數據信息可順次通過上述兩個執行設備，并在主動建立與系統處理主機間物理連接的同時，擴展視頻流的平均傳輸寬度。數據輸出旋調裝置具備較強的感知適應性，可根據視頻流中圖像數據的暫存實值，改變設備體與邊緣檢測模塊間的連接緊密程度，從而抑制連續視頻圖像的空間性冗余能力[6-7]。Sobel芯片是圖像邊緣檢測模塊的核心搭建設備，始終保持較強的指令處理能力，在完整獲取4個CPLD芯片內圖像數據信息的控制應用需求后，釋放所有暫存的視頻流文件，同時建立與VGA顯示模塊的物理連接。

2.4 VGA視頻圖像顯示模塊

VGA視頻圖像顯示模塊實現了由圖像數據流到視頻流的轉化，在CPLD控制芯片的作用下，可在與圖像邊緣檢測模塊建立連接的同時，借助ADV7213芯片，計算暫存視頻圖像中的平均分數像素差值。VGA視頻圖像顯示模塊結構如圖5所示。

圖5 VGA視頻圖像顯示模塊結構圖

圖5中，R9-R0、B9-B0、G9-G0是3個不同的信息流接口元件。其中，R9-R0芯片可借助傳輸導線與Ⅰ型像素卷積設備、Ⅱ型像素卷積設備相連，在視頻流傳輸寬度不斷拓寬的情況下，提取CCD耦合芯片中的待處理圖像數據，再通過B9-B0芯片的傳輸促導作用，將這些束狀信息反饋至G9-G0芯片中，直至系統內部的連續視頻圖像節點完全趨于穩定，才會生成完整的數據流參量[8]。信息流接口位于VGA視頻圖像顯示模塊右下部，可在IOB芯片的作用下，協調信息寄存器內視頻圖像的存儲形式，直至與系統內部的控制處理行為完全匹配。

3 圖像源路數智能控制

在視頻圖像處理系統硬件執行方案的支持下，按照分數像素差值優化、子窗口動態顯示調節的操作流程，實現系統內圖像源路數的智能化控制。

3.1 分數像素差值優化

在整個視頻圖像處理過程中，分數像素差值函數占去大部分計算量，其中和CPLD芯片控制有關的計算占去總運算量的40%左右。在系統核心處理標準中，圖像像素差優化用到了分數像素的運動補償原理，需要在原有數據信息的基礎上進行分數化像素的內插協調，而中間像素插值占去整個優化補償估計的至少三分之二的計算量[9]。因此改變視頻圖像中原始數據信息的分數像素插值，成為系統優化調度處理的重要操作環節。分數像素差值優化原理如圖6所示。

圖6 分數像素差值優化原理

根據圖6可知，用于內插的視頻圖像分數像素點可分為兩類：一類直接作用于數據信息的整數行或列組織，如圖5中的aa、bb、cc、dd類節點，這些分數像素差值可通過優化數據行列屬性的方式得到；另一類像素內差點所在的行和列位置上均不包含整數數據信息，如圖5中的i、k、l、g類節點，這些像素點的差值優化結果必須參考第一類分數像素點的實際所在位置。

3.2 子窗口動態顯示

對于視頻圖像處理系統的子窗口來說，由CPLD控制芯片預設的窗體結構始終保持顯示型排列方式。圖像源數據信息的分辨率為1 920×1 080，因此每一個子窗口只能按照16∶9的比率實時播放與顯示。根據視頻圖像輸入信號路數的不同，系統將自動設置子窗口的實時顯示位置，在CPLD芯片控制原理的作用下，與子窗口匹配的動態節點將會不斷靠近，進而達到控制連續視頻圖像在空間范圍內冗余化程度的目的[10]。在視頻圖像默認顯示條件保持不變的情況下，處理系統預設的子窗口始終具備較強的動態協調能力，故處于連續視頻空間內的分數像素差值都能夠得到穩定的放大處理。因CPLD芯片可與視頻圖像數據保持不平衡的控制對等關系，子窗口的動態顯示復雜度也具備波動變化的能力，隨著輸出圖像信息源路數的增加，視頻流顯示結果也將造成子窗口使用率的提升[11]。設ΔM代表單位時間內處理系統中圖像數據信息的實際輸出量，ΔR代表分數像素差值的優化變動總量，聯立上述物理量，可將視頻圖像處理系統的子窗口動態顯示條件定義為：

(1)

公式(1)中，σ代表視頻圖像處理系統中數據信息的動態顯示參量，λ代表視頻圖像信息的實際輸入系數，f代表圖像數據的輸出處理總量。

4 視頻流播放的設計與實現

聯合圖像源路數的智能化控制需求，建立必要的視頻進程，在確保視頻流得到完整存儲的前提下，完成基于CPLD芯片控制的視頻圖像處理系統設計。

4.1 視頻的進程與多線程控制

整個視頻圖像處理系統需要完成多種數據應用功能，在邊緣檢測模塊中，信息用戶可以設置所有與本系統相關的操作參數，并且將核心主機返回的處理意見，直接顯示在VGA模塊中。結合CPLD芯片的控制原理來看，為實現視頻圖像信號的同步處理，不同數據信息必須取自不同的圖像采集模塊，與此同時，CPLD模塊還支持圖像本地保存、截屏處理等功能。圖像邊緣檢測模塊作為數據包傳輸結構，可按照信道組織的連接需求，實現各硬件執行設備間的信號共通[12]。個別情況下，有的功能模塊間存在明顯的并行執行狀態，視頻圖像中的分數像素差值也會隨之增大，進而影響子窗口的動態顯示行為，故系統內部的視頻進程必須借助多線程節點，才能實現聯合化的控制與處理。視頻圖像多線程控制結構如圖7所示。

圖7 視頻圖像多線程控制結構

根據圖7可知，多控制線程負責子窗口動態圖像的顯示及視頻的播放處理，而節點進程則負責分數像素通道內的信息處理，每一幀視頻信號的處理都關聯一個線程控制結構。一個視頻信號由關閉狀態轉換為開啟狀態，也就意味著創建一個新的多線程控制結構，在整個進程通路中，某一個視頻信號完成播放時，即表示一個進程的結束，通常情況下，可在圖像數據處理線程的末尾，釋放所有因視頻顯示而占用的子窗口結構體。另外在此過程中所涉及的所有視頻圖像信號，都只能存儲在CPLD模塊之中，形成獨立的本地保存文件。

4.2 數據包緩沖區排序

對于待處理視頻圖像信息，由CPLD芯片控制的硬件處理結構始終維持按序發送的執行狀態，但信息碼流的發送只能以數據包作為單位結構組織，對于數據包不設置獨立的傳輸途徑，每個信息結構可經過不同子窗口的轉發進入系統處理接收端，在經過VGA顯示模塊的傳輸后，接收端元件并不能保證數據信息依然維持原始發送順序，因此為了實現視頻圖像數據的同步傳輸，必須在數據包緩沖區域內，對信息參量實施必要排序處理[13]。在執行視頻圖像數據包的物理排序時，應以一個隨機生成的16位二進制數作為發送序列號，接下來每發出一個圖像數據信息，就在起始序列號的基礎上加“1”，當序列號的末尾標注數值超過16位二進制數的應用范圍時，則建立一個全新的序列號組織[14]。采用雙向循環鏈表準則，設原始信息參量為“Seq0”，插入指令為“add”，聯立16位隨機編碼標準，對視頻圖像數據包的緩沖區排序原則進行歸納，如表1所示。

表1 視頻圖像數據包緩沖區排序原則

4.3 視頻流存儲

視頻流存儲是基于CPLD芯片控制視頻圖像處理系統搭建的末尾設計環節，可直接提取采集模塊中的數據信息，并借助傳輸信道，將這些束狀結構體反饋回VGA顯示模塊中。所謂視頻流是指連續的平滑圖像幀序列，在實時處理系統中，必須截取多個視頻圖像的特定數據瞬間，并以數據信息的形式直接存儲在CPLD模塊中，以便直接實施后續的處理與分析操作[15-16]。在多路視頻處理系統中，一個數據信號只能對應一類信息參量，而隨著傳輸圖像數據總量的增大，連續視頻的空間冗余性也開始大幅提升，圖像數據的處理及時性持續下降。而CPLD芯片控制處理系統，具備同時截取多個數據信號的能力，不僅支持單路視頻流的傳輸與存儲，也支持雙路或多路視頻流的傳輸與存儲，既滿足了系統子窗口對于圖像分數像素差的顯示占用需求，也實現了圖像信息數據包的緩沖與排序處理。至此，完成CPLD控制流程的建立，在相關軟硬件設備結構的支持下，實現新型視頻圖像處理系統的順利應用。

5 數據檢測與分析

為驗證基于CPLD芯片控制視頻圖像處理系統的實際應用能力，設計如下對比實驗。如圖8、9所示，以一空白桌面作為實驗實施平臺，將圖像投射屏幕放置于桌面后緣，在桌面上放置書本、盆栽等物質作為實驗對象，不斷增加或減少實驗對象的具體數量，直至投射屏幕中形成完整且穩定的視頻圖像。利用傳輸導線將投射屏幕與控制主機相連，首先啟動新型視頻圖像處理系統，分析連續視頻中的圖像信息，將各記錄數值作為實驗組指標參量；再啟動多路視頻處理系統，分析連續視頻中的圖像信息，將各記錄數值作為對照組指標參量；最后對比實驗組、對照組的數值記錄結果。

圖8 視頻圖像處理系統 圖9 待處理視頻圖像

圖像數據幀緩存速率、VGA信息轉換指標都是反應連續視頻圖像空間冗余性的重要物理指標，通常情況下，二者的影響行為始終保持相反的作用效果，即圖像數據幀緩存速率越快，連續視頻圖像的空間冗余程度越低，反之則越高；VGA信息轉換指標越小，連續視頻圖像的空間冗余程度越低，反之則越高。

圖10反應了實驗組、對照組圖像數據幀緩存速率的具體變化情況。

圖10 圖像數據幀緩存速率對比圖

圖10記錄了4組不同的圖像數據幀緩存速率指標結果，從平均值的角度來看，第2次實驗組的平均數值最大，第3次對照組的平均數值最大。從極限值的角度來看，第1次、第3次實驗組的圖像數據幀緩存速率最大值達到9.1幀/s，第1次實驗組的圖像數據幀緩存速率最小值也達到5.3幀/s；第2次對照組的圖像數據幀緩存速率最大值達到5.9幀/s，第2次、第3次對照組的圖像數據幀緩存速率最小值低至1.1幀/s。對比最大值，實驗組圖像數據幀緩存速率指標上升了3.2幀/s；對比最小值，實驗組圖像數據幀緩存速率指標上升了4.8幀/s。

表2反應了實驗組、對照組VGA信息轉換指標的具體變化情況。

表2 實驗組VGA信息轉換指標

表2、表3分別代表4種不同實驗環境下，實驗組、對照組VGA信息轉換指標的具體數值結果。對比表2、表3可知，第4組VGA信息轉換指標的平均數值最大，實驗組極大值6.79與對照組極大值8.46相比，下降了1.67；第1組VGA信息轉換指標的平均數值最小，實驗組極大值2.03與對照組極值2.71相比，下降了0.68。

表3 對照組VGA信息轉換指標

綜上可知，應用實驗組處理系統后，圖像數據幀緩存速率出現了明顯提升的變化趨勢，極大值指標由5.9幀/s上升至9.1幀/s；而VGA信息轉換指標卻開始大幅下降，極大值指標由8.46下降至6.79，即應用基于CPLD芯片控制視頻圖像處理系統，可降低連續視頻圖像的空間冗余性，實現對圖像數據的及時性處理。

6 結束語

為解決多路視頻處理手段對于圖像數據處理及時性較差的問題，設計基于CPLD芯片控制的視頻圖像處理系統。在邊緣檢測模塊、VGA顯示模塊等多個硬件執行設備的支持下，同時執行分數像素差值的優化調度與子窗口的動態應用，不僅實現了對視頻進程的多線程控制，也解決了數據包在緩沖區域內的按需排序問題。從實用性角度來看，圖像數據幀緩存速率開始不斷上升，而VGA信息轉換指標卻大幅下降，從根本上控制了連續視頻圖像空間冗余性的上升趨勢，實現了及時處理圖像數據的初衷。