面向視頻超分辨率重建的混合粒子群優化算法

俞文靜，張明軍，王 影

(廣州大學華軟軟件學院，廣東 廣州 510990)

0 引 言

視頻序列圖像超分辨率重建[1-5]是指已知同一場景下的多幅具有互補信息的模糊、變形以及噪聲污染的低分辨率圖像，來重建一幅較清晰的高分辨率圖像的過程。這一技術在現實應用中有很大的應用價值，在安保監控、交通監控檢測、衛星遙感、醫療等領域都具有較好的應用前景。

基于序列的超分辨率重建是在1984年由Tsai和Huang[1-3]提出的，經過多年研究，各種思想、算法及技術不斷改進，已經形成一套較完整的研究理論，也取得了一些重要的研究成果。這些理論大多是在圖像的運動估計和圖像重建角度實現視頻圖像的超分辨率，從圖像像素優化的角度解決超分辨率重建的研究還比較少。文中從像素優化的角度，針對標準粒子群優化算法的缺點進行了改進研究，并將該算法應用到視頻超分辨率重建問題的求解，并通過仿真實驗進行驗證。

1 超分辨率圖像重建的模型

1.1 一般視頻超分辨率重建模型

(1)

由以上表達的觀測模型可以得出，視頻序列圖像超分辨率重建模型可以看作是圖像觀測模型的逆過程[6]，如圖1所示。

圖1 視頻超分辨率重建模型

1.2 視頻超分辨率重建數學優化目標函數

根據以上的分析，文中將視頻序列超分辨率重建的過程，看作是對一組低分辨率視頻序列進行優化而獲得一個高分辨率視頻序列的過程。文中算法將視頻超分辨率問題轉換為：以多幀低分辨率圖像經過插值放大后的圖像像素序列作為初始化粒子,從所求高分辨率最左上角[0,0]像素點出發，依次在不同放大后圖像幀間對應位置像素中選擇一個或者多個像素進行優化組合，適當時進行像素變異，以達到圖像清晰度函數值最大化的優化目標。因此圖像的優化目標函數為[7-8]：

(2)

其中，I為重建后的圖像，大小尺寸為m×n。

2 改進的MPSO(mixed PSO)算法

2.1 基本PSO算法

粒子群算法(particle swarm optimization，PSO)是一種受鳥群活動規律啟發設計的群進化優化算法，適用于多約束的目標優化問題，其公式如下[7-13]：

(3)

(4)

其中，t表示粒子的進化代數；vi表示粒子速度；xi表示粒子位置；pid為單個粒子迄今為止搜索到的最佳位置；pgd為整個粒子群迄今為止搜索到的最佳位置；c1和c2為算法學習因子，為非負常數；r1和r2為獨立在[0,1]之間的隨機數。

2.2 算法改進思想

2.3 粒子交叉操作

MPSO為種群間的交互設計了一個交叉池，經過若干次優化依然沒有發現更好解的粒子，將以一定隨機概率加入交叉池中等待雜交。在粒子優化初期，由于粒子能夠獨立進化并建立模式庫，因此很少進入交叉池。而當粒子群收斂到一定程度，優化的速度降低，粒子將逐步進入交叉完成粒子間信息的交換。

2.4 粒子變異操作

在視頻圖像超分辨率問題的求解中，變異操作用來改善算法全局收斂性并增加群體多樣性。文中的變異策略依據蟻群算法的就近原則思想：計算節點之間的連接代價權值，權值越小的鄰接點將被選為下一訪問點的概率越大。

設d(i,j)表示節點i與節點j之間的度量值，那么離i1節點最遠的節點度量值為：

dmax=maxd(i1,j)

(5)

為避免下一個訪問點為自身，令d(i1,i1)=dmax，則下一訪問點為節點j的概率為：

(6)

2.5 粒子速度與位置更新策略

在式3粒子速度矢量更新過程中[13]，由于r1和r2為彼此獨立的兩個0～1之間的隨機數，因此就有可能會遇到r1和r2同大或同小的情況。如果r1和r2同大，粒子個體認知和社會經驗的作用就被夸大；如果r1和r2同小，粒子個體認知和社會經驗都沒有得到充分的利用。

(7)

(8)

在改進算法的粒子速度和位置更新策略中，若新值大于設定的最大值，則取最大值；若小于設定的最小值，則取最小值。

2.6 改進MPSO算法流程

改進MPSO算法的流程描述如下[13]：

步驟1：初始化和參數設定。

步驟2：產生原始粒子群規模以及粒子序列。

步驟3：根據式7和式8進行粒子速度更新和位置更新。

步驟4：粒子遺傳操作。

正由于生源質量下降導致目前高職院校的學生基礎較差，對學習缺乏熱情，也沒有好的學習方法和習慣。除了學習不好這一缺點外，他們也有許多優點如思維活躍，喜歡表現自己，動手能力較強等。此外現在的學生是生活在通信技術快速發展的時代，各種技術及運用層出不窮，特別是智能手機應用的普及化，學生人人一部智能手機，幾乎機不離手。

步驟5：適應度評估策略。

步驟6：終止條件判斷。

如果滿足終止條件，程序迭代結束，輸出結果；如果不滿足終止條件，跳轉到步驟3，繼續執行。

3 基于改進PSO算法的視頻超分辨率問題的求解

3.1 改進PSO重建超分辨率圖像的步驟

超分辨率圖像最優化問題可描述為：將一組低分辨率視頻圖像像素序列作為輸入，優化出一組高分辨率圖像像素序列，為了簡化問題，文中采用灰度圖像，只考慮圖像像素點上的灰度值優化。設圖像是按照先行后列的方式排列的灰度像素序列，低分辨率圖像表示為一維向量L=[l1,l2,…,lm]，m表示低分辨率圖像像素個數，高分辨率圖像表示為一維向量H=[h1,h2,…,hn]，n表示最終放大后的高分辨率圖像像素個數，也是MPSO算法要求解的個體。

MPSO算法重建超分辨率圖像的具體步驟如下[13-15]：

(1)依據式1的模型，選取視頻成像中連續i幀圖像序列為低分辨率圖像序列向量L1=[l11,l12,…,l1m]，L2=[l21,l22,…,l2m]，…，Li=[li1,li2,…,lim]。

(2)初始化粒子群群體規模和種群個體的值，取i個初始種群個體值為Li經過多倍插值放大后高分辨率圖像序列：H1=[h11,h12,…，h1m]，H2=[h21,h22,…，h2m]，…，Hi=[hi1,hi2,…，him]。

(3)初始化參數，依據適應度函數計算適應值，找出初始化粒子群中i個種群個體中適應度最大的粒子，作為全局最優解pgd，個體最優解pid為第一幀高分辨率圖像序列H1。

(4)依據式7和式8更新粒子速度與位置。

(5)依據遺傳操作，將粒子進行交叉和變異求解。

(6)根據適應度評估策略以及適應度評估函數，檢查迭代的終止條件，若滿足終止條件，則停止迭代輸出，否則回到步驟4。

(7)輸出重建的高分辨率圖像。

3.2 圖像超分辨率優化適應度函數設置

將MPSO算法應用到視頻序列超分辨率問題求解中，一個最關鍵的問題就是迭代過程中超分辨率適應度函數的設置。文中采用灰度直方圖頻率的統計策略，計算低分辨圖像的灰度直方圖頻率與放大后的高分辨直方圖256級灰度頻率之差的總和，當這個取值達到最小時，代表求得的高分辨率圖像是最優的，適應度函數表示為：

(9)

其中，mi、ni分別為低分辨率圖像與高分辨率圖像中灰度級別為i的像素統計個數；m、n分別為低分辨率圖像與高分辨率圖像的像素個數。

3.3 圖像超分辨率優化交叉變異操作準則

在MPSO算法對高分辨率圖像尋優過程中，當適應度函數取值較大，而粒子多次飛行的結果又沒有大的變化時，需要進行交叉操作。交叉準則是提取該粒子對應圖像的相鄰幀圖像的對應粒子進行局部范圍內交叉。同樣，變異操作準則也是利用粒子節點間的連接代價權值，文中認為越相鄰的幀對應的粒子之間連接代價權值越高。

4 仿真實驗

仿真實驗環境為：處理器Intel Core i7 920 2.67 GHz，內存8 GB，仿真平臺為Matlab R2010b。采用某室內監控視頻中某一時刻一組連續的3幀視頻圖像作為實驗初始的圖像數據，如圖2所示。

圖2 獲取的視頻連續3幀原始圖像

利用BPSO算法和提出的改進MPSO算法對圖2中的三張序列圖像進行視頻圖像超分辨率重建，并對算法在算法性能以及應用效果上進行比較。圖3顯示了BPSO算法及MPSO算法優化過程動態變化曲線。從曲線圖可以得到，在進化后期MPSO比BPSO的收斂度高。然而，為了克服BPSO算法早熟、容易陷入局部極值點的缺陷，MPSO對BPSO做了許多調整，加入了很多新的算子，從而增大了算法的計算量，算法的復雜度也有所增加，粒子同樣進化500代，MPSO的運行時間明顯比BPSO長。

圖3 算法優化動態曲線

在仿真實驗中，文中利用基本BPSO以及MPSO分別對以上3幀圖像進行超分辨率放大3倍優化，并將兩種算法的結果進行比較，分別如圖4和圖5所示。

圖4 BPSO超分辨重建優化3倍效果

圖5 MPSO超分辨重建優化3倍效果

從實驗結果可以得到，改進MPSO算法與基本BPSO算法在視頻序列超分辨率重建應用中，算法的執行后期的收斂性有很大的提高，除此之外，重建圖像像素效果也有很大的改善，在圖像重建清晰度以及圖像細節表現上有了較明顯的提高，尤其是圖像重建倍數越大時，效果對比越明顯。

5 結束語

建立了一種有效的視頻超分辨率重建數學優化模型，將多幀視頻超分辨率重建問題轉化為從低分辨率圖像到高分辨率圖像的算法尋優問題。針對BPSO算法易陷入局部極值的缺陷，對其進行改進，將遺傳算法原理、蟻群機制引入基本PSO算法中，并結合問題設計了適應度評估方法，提出了一種改進的MPSO算法。仿真實驗驗證了提出的模型和算法對于解決視頻超分辨率問題的可行性和有效性。