基于關鍵字的海報自動合成系統

關帥鵬，于海陽，楊震，周明，賴英旭

（北京工業大學 信息學部，北京 100124）

海報被視為一種強有力的宣傳載體，在大眾日常生活、生產管理及科學研究等領域扮演著重要的角色。主題明確、精心設計的海報不但能夠吸引觀眾的注意力，而且對于主題信息的表達，也能夠準確完整的呈現。海報設計中，使用圖像編輯工具輔助設計，這與圖像合成的理念十分契合，即從一張或多張圖像中分割場景項并將其無縫地粘貼到另一張背景圖像內，通過對圖像、文字、空間等要素進行完整的結合，使得背景圖像獲得額外的信息傳遞效果。與普通圖像相比，合成的圖像能在時間和空間上獲得額外的表述，能夠更加完整地表達圖像需求者的意愿。Johnson等［1］實現了一種圖像合成系統，通過定義文字標注和文本元素區域的方式，把標注后的圖像存入數據庫，在數據庫內檢索相關圖像并根據畫布提供的位置信息合成目標圖像，該方法從標注的數據庫中檢索圖像，僅適用于風景類的圖像合成，適用范圍小，且用戶無法自適應地改變圖像合成結果。Chen等［2］使用手繪草圖和文字標注的組合信息從互聯網搜索引擎中檢索圖像，并將圖像元素按照手繪草圖中的布局信息拼接至背景的對應位置實現圖像合成，該方法忽略了前景圖像間的布局信息，最終合成結果中不可避免地會出現肉眼可見的邏輯錯誤。

海報圖像合成主要涉及2個問題，即如何準確地獲取目標圖像，以及如何分割將其無縫地糅合到目標圖像中。根據圖像檢索中啟發性信息的不同，可將圖像檢索大致分為基于文本和基于內容的檢索方法?；谖谋镜臋z索方法實質上把圖像檢索映射成文本檢索的方式，對圖像內容反映的信息理解進行文本標注，實現圖像與文本的信息等價，通過文本檢索實現圖像檢索。基于內容的圖像檢索方法不再使用文本信息作為描述符，而是結合特定算法提取圖像顏色、紋理、輪廓等一系列內容特征，根據圖像本身的內容進行檢索，這種對圖像檢索的處理技術更準確。世界上第一個基于內容的商用圖像檢索系統是IBM的QBIC系統［3］，該系統的語義識別是通過人工完成的，導致許多圖像的度量化比較差。麻省理工學院也在基于內容圖像檢索領域研發了圖像檢索系統，即Photobook［4］。針對從源圖像中分割場景項并將其無縫地粘貼到目標圖像的問題，Agarwala等［5］提出了一個經典的、交互式的計算機輔助圖像合成框架，框架包括2部分：使用圖像分割（image segmentation）提取候選圖形，緊接著使用圖像融合實現無縫融合（seamless cloning）。在圖像檢索完之后，如何對圖像進行分割處理也是重要的研究熱點之一。Bezdek［6］在圖像分割中使用了聚類的方法，通過圖像像素間的相似程度把圖像劃分成若干區域子集，該方法的缺點在于大多數算法需要事先定義簇的個數（圖像分割塊數），并且特征選擇單一，沒有考慮像素的細節結構，分割效果不盡人意。Boykov和Jolly［7］利用圖分割模型對能量函數進行最優化求解，提出了一種交互式圖像分割算法，通過用戶手動指定像素所屬類，來實現圖像的二值分割。在此基礎上，Rother等［8］提出了GrabCut算法，該算法引入高斯混合模型對前景、背景元素進行建模，進一步簡化了使用者的操作難度，降低了對圖像分割的計算量。Felzenszwalb和Huttenlocher［9］在圖論的基礎上研究如何進行圖像分割，提出了一種基于最小生成樹的改進算法，將同一子圖內部的差異性和子圖之間的差異性相組合，實現像素在聚類時的自適應閾值選擇，形成若干個彼此差異最大的臨界子圖，完成對圖像的分割處理。圖像無縫融合是指將2個或者2個以上的源圖像進行糅合，達到對同一場景圖像的完美表達。目前，比較流行的有基于Alpha和基于梯度場的無縫融合算法。Wang和Cohen［10］利用掩碼分割目標區域，并將目標圖像區域與背景圖像根據α分量（圖像透明度）進行疊加獲得無縫的融合結果。在前景和背景圖像光照和紋理特征相差較大時，Alpha融合算法將會產生明顯的人工融合間隙。為了解決上述問題，Fattal等［11］提出了梯度域的圖像編輯方法，通過求解圖片梯度場和對比值的壓縮，構建泊松方程的形式，實現在動態范圍內圖像的壓縮。在此基礎上，Pérez等［12］提出了泊松圖像編輯方法，通過狄利克雷邊界條件達到對泊松方程的求解。在保留前景圖像梯度信息的同時，保證圖像在梯度域上的連續，這樣就保證了前景和背景圖像間光照和紋理特征一致。

除上述2個典型問題，本文在系統中額外加入人像布局推薦來輔助對以人像為主題的圖像進行構圖設計。人像布局推薦是一個新興的研究領域，前景人像區域和背景區域之間的位置、大小等布局信息關系到合成圖像是否真實合理。人像布局推薦的目標是通過調整前景圖像、背景圖像間相對的大小、位置信息將前景圖像毫無違和感地嵌入另一張背景圖像中，使圖像合成更真實。在圖像編輯中，設計圖像的布局結構屬于開放性問題，具有一定的難度。Inaba等［13］利用場景間關系確定元素項位置，通過計算數據庫中111個場景標簽間距離，統計出關鍵字標簽的概率分布，達到生成元素位置的效果。Bhattacharya等［14］通過學習大量用戶數據來獲取圖像美學的支持向量回歸模型，通過空間重組來提高照片的視覺美感，用于輔助用戶改進圖像的構圖選擇。Zhang等［15］通過構建大量專業照片提取代表美學空間構圖的人像注意力和幾何構圖特征。根據背景的相似性，為新的背景自適應地挑選相似背景下的人像作為參考圖像，實現人像姿態和位置的推薦。Wang［16］和Rawat［17］等在此基礎上，收集上千幅構圖良好的人像照片，從構圖良好的圖像中學習人像的審美構圖規律，結合美學構圖規則，同時利用背景內動態視覺元素實現版面平衡的方法，構建了一個輔助攝影系統來實現針對不同背景下的人像布局推薦。

1 系統描述

本文設計了一個基于關鍵字的海報自動合成系統，其整體框架如圖1所示。按照合成流程可將系統分為以下3個階段。

圖1 海報自動合成系統流程Fig.1 Procedure of automatic poster synthesis system

1）圖像檢索階段。主要是對目標圖像的前景、背景圖像的準備，用戶通過提供關鍵字標簽或文本信息來進行相關目標圖像的提取，為后續圖像融合提供素材。

2）圖像布局設計階段。用于輔助用戶對人像元素進行布局設計，優化圖像構圖，保證圖像信息準確快速的表達?？紤]使用基于統計的正規則和基于美學的負規則進行雙向的線性組合來量化背景下的人像布局評分，實現人像布局推薦。

3）圖片融合階段。是系統的最后一步，按照布局設計的方案將圖像素材檢索提供的前景和背景圖像進行無縫融合即可實現圖像合成。將無縫融合的結果返回給用戶，以供用戶選擇。

系統需要建立2個數據庫：第1個是通過互聯網搜索引擎實時獲取前景、背景圖像的在線數據庫，用于圖像檢索階段；另1個是事先建立的離線海報數據庫，用于圖像布局設計階段。根據上述對系統的分析，基于關鍵字的海報自動合成系統主要由以下模塊組成：

1）圖像下載。圖像下載模塊負責對目標圖像、背景元素等的獲取。系統依托互聯網搜索引擎，根據用戶提供的文本信息下載對應的圖像數據，按照特定規則將圖像存儲建立數據庫，為后續的復雜性過濾和一致性排序提供數據源。

2）復雜性過濾。復雜性過濾模塊設置的目的是：一方面可以過濾錯誤圖像，提升檢索效率；另一方面還能消除內容復雜的圖像，保證在后續圖像分割和融合過程中產生更好的效果。

3）一致性排序模塊。一致性排序通過提取圖像內容的多維度特征，并對圖像特征進行內容一致性排序來達到二次檢索的效果，進一步提升檢索的性能。

4）人像布局推薦模塊。人像布局推薦可輔助用戶進行海報的布局設計。從構圖規律和美學常識的角度，為不同的人像與背景的組合生成恰當的布局備選。

5）圖像融合模塊。圖像融合是將從前景目標區域無縫融合至背景圖像中的過程，提供最終的海報合成結果。

本文將自動的圖像檢索和人像布局推薦作為系統的重點核心內容，將圍繞上述各模塊進行深入的分析和人性化的設計。

2 基于關鍵字的圖像檢索與融合

本文采用基于信息熵差的關鍵字提取算法［18］進行文本處理。該算法提出文章關鍵詞是以聚類的形式存在的，按照每個詞出現間距是否大于閾值劃分為內外2種模式，通過計算2種模式下的信息熵差來實現關鍵字提取。

關鍵詞標簽一旦確定，通過互聯網搜索引擎下載對應圖像。在后續的工作中，將按照特定的標準分別處理背景和前景圖像。首先，是內容一致性，即不論是前景還是背景圖像，圖像內容都應該與對應的關鍵字標簽一致；其次，考慮內容復雜性，對于背景圖像，圖像內容應該盡可能保持簡單，為前景元素的加入保留足夠的開放空間；而前景圖像涉及后續目標區域的自動分割，應該盡量選擇算法自動分析相對可靠的圖像。在圖像下載過程的同時，對收集到的所有圖像進行預處理，刪除下載失敗或像素較低的模糊圖像，為最終的圖像合成提供高質量的圖像素材。

2.1 復雜性過濾算法設計

在進行復雜性過濾算法設計時，本文使用圖的分割算法［9］來進行語義分割。該算法是一種基于圖的貪心聚類算法，不僅考慮了同一子圖內部的差異性，還考慮了子圖與子圖間的差異性。算法的關鍵在于像素聚類時能夠實現自適應閾值。然后使用一種基于短連接的深度學習顯著性檢測算法［19］。該算法通過在HED（holisticallynested edge detection）架構內引入跳層結構的短連接，充分利用了從全卷積網絡提取的多層次和多尺度特征，為每一層提供更高級的表征，實現在復雜區域捕獲較為顯著的物體。

對于背景圖像，直接根據全圖分割的段數對圖像進行排序，返回復雜性得分。對于前景圖像，首先判斷顯著性檢測結果，如果圖像內顯著區域的數量大于3，則會被認定為過于復雜，將會直接被刪除。然后將語義分割得到的結果和顯著性檢測得到的結果相組合，計算顯著區域邊緣的分割段數。前景圖像的復雜性檢測效果如圖2所示。在這種情況下，若圖像內任意一個顯著區域邊緣段數大于20，系統認為該圖像背景復雜，直接丟棄。

圖2 復雜性過濾過程Fig.2 Process of complexity filtering

對于前景圖像而言，每個圖像中可能包含一個或多個對象，因此對圖像全局提取特征是不合適的。如果只對圖像的目標區域提取內容特征，便可獲取更為準確的特征描述。系統使用Grab-Cut來實現圖像目標區域和背景的二值分割。GrabCut是以GraphCut圖分割算法為基礎改進而得到的交互式圖像分割算法，其在分割初始化時加入了大量的用戶先驗知識和主觀需求，從而實現更加準確的目標區域分割效果。圖3展示了GrabCut的基本用法。用戶需要使用矩形框手動標記前景區域即可實現圖像分割，在分割的過程中，用戶可根據主觀需求對前景和背景像素進行額外的標注，以改善分割結果。

圖3 GrabCut算法交互過程Fig.3 Interaction process of GrabCut algorithm

GrabCut采取RGB顏色空間，通過高斯混合模型對圖像前景及圖像背景中的像素進行建模。GrabCut算法用于分割的Gibbs能量函數定義為

式中：α為透明度系數，當像素為前景時取值1，為背景時取值0；k∈｛1，2，…，k｝，k為GMM 中高斯分量的個數；θ＝｛πk，uk，Σk｝，元素分別為每個高斯分量對應的權重系數、均值和協方差；U和V分別表示區域項和能量邊界懲罰，計算式如下：

式中：參數γ＝50；β由圖像的對比度決定；區域項U用于表示透明度系數α對于像素的相似程度，可由所有像素D（αn，kn，θ，zn）求和得到，D（αn，kn，θ，zn）由式（3）計算得到，具體表示為該像素屬于前景或背景的概率負對數；邊界懲罰項V表示為鄰域像素m和n之間由于不連續所帶來的懲罰，通過像素m與n之間的歐氏距離，來對像素之間的相似性進行衡量，如果兩鄰域像素的相似性越大，說明領域像素處于同一背景或同一前景的概率越大，所對應的邊界項表示的能量值則越小。通過不斷進行分割估計和模型參數的學習，將Gibbs能量函數E降低到最小值實現最佳分割。

GrabCut是一種和用戶可以交互的圖像分割算法，考慮到該算法無法滿足實時性要求比較高的場合，本文將顯著性檢測和GrabCut結合來實現圖像自動分割［20］。首先，對原始圖像進行顯著性檢測，通過設定適當的閾值獲取顯著區域二值圖像。對于背景簡單的圖像，顯著性檢測的結果往往聚集在目標前景區域上，這也是使用復雜性檢測過濾圖像的目標之一。然后，使用圖像的顯著區域對GrabCut算法進行初始化，并重復迭代運行分割算法，實現目標區域的分割。基于GrabCut的自動分割算法訓練過程可以總結如下：

1）使用顯著性檢測得到目標前景區域，并將目標區域形態學擴張10次。

2）使用目標區域對高斯混合模型進行初始化，目標區域外的其他區域設定為背景區域，區域內設置為待定的未知區域。

3）使用K-means算法將標定的圖像前景和圖像背景像素聚為k類，k為GMM中高斯分量個數，一般情況取5，初始化GMM參數θk＝｛πk，uk，Σk｝的值。

4）以最小化D（αn，kn，θ，zn）的規則判斷每個像素所屬的GMM分量。

5）根據式（2）計算區域項U（α，k，θ，z）。

6）根據式（5）計算邊界項懲罰V（α，z），其中參數γ＝50，β由圖像的對比度決定。

7）構建s-t圖，對圖像使用最大流、最小割算法進行處理，得到能量函數E最小峰值。

8）迭代執行步驟3）和步驟7）直至收斂。

9）使用bordermatting平滑圖像分割后的邊緣，這樣就實現了結合顯著性檢測和GrabCut的圖像目標區域自動提取，目標區域的提取結果將會同源圖像一并返回給用戶，用戶可以通過手動指定背景及前景像素的方式來修正圖像提取結果。

GrabCut算法偽代碼如下：

1：輸入圖像｛I1，I2，…，IH｝2：AimReg：rect←Significance detection method 3：Repeat：4：do：5：class k←clustering（foreground＆background）6：GMM←initialize 7：Reg：U（α，k，θ，z），Bp：V（α，z）←calculate 8：cut＿graph←maximum＿flow（gr，source，sink）9：E←mix 10：while：函數收斂或達到迭代次數11：end循環12：使用bordermatting平滑圖像分割后的邊緣13：輸出結果

2.2 一致性排序算法設計

在一致性排序算法設計中，檢索結果的準確性取決于對特征的精確描述，特征提取的重點在于全面性和準確性。針對不同的應用場景，提出了以下3種圖像特征提取方法：HSV顏色直方圖特征、HOG特征及人像姿態特征。

2.2.1 HSV顏色直方圖

本文基于HSV色彩空間建立顏色直方圖。如圖4所示，HSV顏色空間可以通過一個倒立的圓錐體來形象地解釋說明，其包含感知三要素：色調（H）、飽和度（S）、亮度（V）。亮度對應圖中長軸，從黑到白順序表示像素明暗度；飽和度對應離開長軸的距離，是顏色的深淡度的體現；色調對應圍繞長軸的角度，是影響人的視覺判斷重要元素。

圖4 HSV顏色空間Fig.4 Space of HSV color

顏色直方圖是對圖像的不同顏色區間統計的像素數量分布［21］，其不考慮像素顏色的所處位置，僅與顏色在整幅圖像中所占的比例相關。顏色直方圖方法可定義為

式中：N為在圖像內的所有像素點總數量；nk為相同區間內的像素數量。使用HSV顏色直方圖量化顏色空間可以按照以下步驟［22］：

1）根據人眼對顏色近似程度的視覺辨別能力，將色調劃分為8個不同的區間，飽和度和亮度空間分別劃分為3個量化區間。

2）根據像素所屬色彩的范圍對圖像進行量化，此時每個小區間成為直方圖的一個簇，這樣色彩空間被量化成有限的離散級數。

3）按照轉換式（7）將顏色空間三要素對應的向量參數合并至一維特征向量之中。

式中：Qs和Qv分別為分量S和V的量化級數，本文Qs＝3，Qv＝3。

式（7）即變化為

構成了 72 維向量的一維直方圖：L［0，1，…，71］。之后進行歸一化處理，就可以通過向量L來衡量圖像的顏色特征。

2.2.2 HOG特征

梯度方向直方圖（histogram of oriented gradients，HOG）算子是Dalal和Triggs［23］提出的一種基于統計圖像局部梯度走向和梯度強度分布的特征描述符。HOG核心思想是：圖像中目標物體邊緣位置通常能夠直觀地反映像素梯度。利用梯度做直方圖來進行信息的統計，這種方法能夠直觀地對區域目標的外在特征進行合理的反映。以64×64像素的圖像I為例，對應的HOG特征提取步驟如下［24-25］：

1）圖像分割。將初始圖像等分為8×8的cell，并把4個相鄰2×2的cell組成block。

2）色彩和伽馬歸一化。采用gamma校正方法對圖像進行歸一化，該操作能減低光線變化和圖像的局部陰影所造成的影響。

3）計算每個像素的梯度方向和大小。該方法能有效地捕獲了圖像的輪廓和紋理信息，同時進一步弱化光照、陰影等因素的干擾。圖像中像素點（x，y）的橫向梯度H（x，y）及縱向梯度V（x，y）計算如下：

該點梯度大小G（x，y）和梯度方向θ（x，y）分別為

4）根據每個像素點的梯度方向，利用雙線性內插法將cell內像素幅值累加到直方圖中，并以block為單位把特征向量首尾相連。當把梯度方向均分為9塊，即可得到一個64×9維的HOG特征向量。

2.2.3 人像姿態特征

人像姿態識別對于描述人體姿態、區分人體行為至關重要。姿態估計使用人體骨架的形式對一個人的體態進行描述。骨架是一組坐標點，通過對軀干、頭部等的關鍵點識別，將其連接起來用于描述人物的姿態。為了提升人像圖像的檢索效率，本文使用開源人體姿態識別項目 Open-Pose［26-28］進行二維姿態檢測。OpenPose是基于深度學習開發的開源庫，可以實現對人臉關鍵點、人手的關鍵點及人身體的主要關節點的實時多人定位。圖5為人體關鍵點示意圖。每個人像的二維的姿態特征可由36維特征向量表示：

圖5 人像姿態特征Fig.5 Feature of human pose

2.2.4 基于Meanshift的一致性排序

為了提高檢索的精度和準確性目標，通過對圖片內容一致性重新排序來達到目標。不同于常規的基于內容的圖像檢索方法，本文通過對候選圖像進行聚類，使用簇中心代替示例圖像，用戶無需額外提供任何示例圖像，即可通過關鍵字標簽實現圖像檢索。

系統選擇均值漂移（Meanshift）聚類算法進行聚類操作。Meanshift算法［29］是局部密度最大值的迭代梯度上升法，使用均值漂移向量代表樣本中心點局部密度增長的最快方向，將收斂于同個局部密度最大處的樣本劃分為同一簇類實現數據聚類。Meanshift算法先在特征空間中隨機初始化超球面，在每次迭代中，超球面都朝著均值偏移矢量的方向移動，移動過程中，所有出現在超球面內的數據屬于此類的訪問頻率加1。均值偏移矢量的計算如下：

式中：yt為第t次迭代的球面中心；x為屬于集合內Θ半徑為λ的球面中的特征點。圖6表示了Meanshift算法超球面初始化到收斂的過程。Meanshift算法通過引入窗口半徑λ，避免事先定義聚類數量k，故Meanshift算法僅需定義參數λ即可實現聚類。超球面最終將收斂于局部密度極大值點，并通過判斷當前簇中心在閾值范圍內是否已經存在其他簇中心確定數據所屬簇類，如果存在其他簇，將2類數據合并，否則當前簇中心成為新的聚類。當所有數據均被標記訪問時算法停止，并按照簇類的訪問頻率劃分數據歸屬簇類。通過Meanshift算法得到最大簇后，計算得到簇中心。按照簇內圖像與簇中心之間的距離排序。對于顏色直方圖而言，使用卡方距離相較于歐氏距離能夠獲得更好的檢索效果。故針對顏色特征使用卡方距離重排序，卡方距離為

圖6 Meanshift算法迭代過程Fig.6 Iterative process of Meanshift algorithm

對其他特征使用歐氏距離排序，計算如下：

使用對應距離公式來表示內容一致性評分，將一致性得分標準化為介于（0，1）之間的值。這樣每張圖像都被賦予對應特征下的一致性得分。根據不同情況獲取對應特征下的分數：對于背景圖像使用顏色特征獲取一致性得分，并與復雜性得分相結合作為背景圖像排序的最終評分依據；對于前景圖像同時建立HSV顏色直方圖特征和HOG特征，如果目標對象是人物還將額外使用姿態特征，將圖像特征對應的一致性分數線性組合，對數據集內圖像進行一致性排序，按照排序結果返回圖像，這樣就實現了“從無到有”的圖像檢索。

2.3 圖像融合算法設計

圖像的無縫融合應該盡可能地保證合成的圖像真實自然，減少明顯的拼接痕跡。本文提供了Alpha融合和泊松圖像編輯2種無縫融合方案供用戶選擇。

2.3.1 Alpha融合算法

Alpha融合是按照α向量（圖像透明度）來混合前景像素和背景像素的圖像處理技術。首先，把背景像素BP和前景像素FP按照RGB三個顏色通道分離，分別對各個顏色進行以下處理：將前景像素乘上α的值，同時把背景像素與α的反值相乘。然后，在對應的顏色通道上，將處理結果相疊加。最后，把求得的疊加結果除以α的最大值獲取融合圖像的像素值CP：

Alpha融合算法的效果很大程度上取決于前景圖像的掩膜mask值，當前景圖像的掩膜不夠精確時，會導致前景圖像邊緣處的錯誤結果。此外，Alpha融合算法是在像素級別對圖像進行操作，無法處理圖像之間的色彩和紋理變化。當背景與前景圖像的紋理差別很大，以及在不同的光照條件下，往往會出現明顯的邊界，產生不真實融合效果。

2.3.2 泊松圖像編輯

泊松圖像編輯是在梯度域求解前景和背景重疊區域的像素，利用前景區域的梯度和背景圖像的邊界值構造求解帶Dirichlet邊界條件的泊松方程，利用拉普拉斯算子插值重構重疊部分的像素。如圖7所示，B和Ω分別代表背景圖像和背景中的重疊區域，泊松圖像編輯的目標是將前景圖像的目標區域U無縫融合至背景B中，即求解融合后重疊區域Ω的像素值f。通過使邊界?Ω處梯度變換盡可能小，避免因過渡不自然而出現明顯的融合間隙，實現真實自然的融合效果。

圖7 泊松圖像編輯原理Fig.7 Schematic diagram of Poisson image editing

為了保證圖像融合后重疊區域內變化平滑及無明顯的可見邊界，重疊區域Ω內梯度變換應盡可能得平緩，即梯度應盡可能得小。因此，Ω內的像素值f應滿足：

式中：Δ表示拉普拉斯算子。為了保持原圖像的紋理特征，需要將梯度矢量場T加入到式（19）中，對當前的梯度域加以限制，這樣就得到了擴展的最小值問題。公式更新為

最優解滿足Dirichlet邊界條件下的泊松方程：

式（22）是T＝（u，v）的離散形式。在彩色圖像的泊松編輯方程求解中，合成圖像的顏色在不同通道將被獨立構成一個泊松方程求解。Ω的邊界滿足：

式中：Np為背景內像素p的四連通鄰居集；＜p，q＞為p和Np內q的像素對。泊松方程就轉化為了離散的二次最優化問題，如下：

式中：vpq為T在［p，q］上的投影。根據最優性條件，其最優解滿足：

通過對線性方程求得的解為目標區域內的像素值，這樣就實現了圖像的無縫融合。

3 基于雙向規則的人像布局推薦

同類型的電影海報具有相似的人像分布規律?；谶@種考慮，本文建立基于統計的正規則，即從構圖良好的圖像中提取共通的構圖規律。正規則建立的過程可概括為海報分類、使用高斯混合模型對各類別下人像分布建模和高斯混合模型參數估計3部分。

3.1 基于背景的海報聚類

先對海報進行聚類，再對不同類別的人像進行單獨的位置建模，提取電影海報的布局分布規律。在此，考慮了多個方面的分類準則，如不同電影類別的海報應該具備獨特的風格，大眾審美會隨著時間的推移發生變化，電影海報也會隨著改變。電影的類別和時間線都可以作為電影分類的標準，但不論是電影類別的差異還是藝術認知的改變，人像分布和背景圖像的內容特征都是緊密相關的。海報制作者在進行人像布局設計時，前景人像與背景圖像之間的協調搭配都是應該考慮的第一要素。故選擇依據圖像背景內容特征對電影海報進行分類。首先，切除海報內人像和其他前景元素，使用內容感知算法填充背景上的空白區域。然后，建立背景圖像的內容特征?？紤]到有些海報內可能沒有明顯的顯著元素，故考慮依據圖像顏色特征進行分類。建立背景的HSV顏色直方圖特征，并使用K-means聚類算法［30］對填充的背景分類。該算法的一個特征是每次迭代都需要計算所有樣本與質心之間的相似度，在數據規模較大時，算法的時間開銷比較大。

3.2 高斯混合模型構建

海報分類完成后，分別對每類背景的人像布局關系進行分析，在這里同時考慮人像的位置坐標和尺寸。建立一個生成概率模型來訓練每個場景類別的位置、大小分布，使用高斯混合模型來擬合人像布局分布。高斯混合模型作為廣泛應用的聚類模型之一，使用多個高斯分布作為參數模型，并將其線性組合來刻畫數據的一般分布。對于任何場景類別I，本文將人像布局信息表示為x（I）＝（x，y，r）T，其中（x，y）表示人物在圖像中的平均位置，r表示人像的面部尺寸。給定場景Ik的人像布局x（Ik）的概率分布可以表示為

式中：N（x｜μ，Σ）為高斯概率密度函數；wk、μk、Σk分別為混合模型中的第k維高斯向量的權重、均值、協方差矩陣。

3.3 高斯混合模型參數估計

本文使用貝葉斯信息準則［31］（Bayesian information criterion）來估計高斯混合分量的數量。使用 最 大 期 望（expectation-maximization，EM）算法［32］估計所有背景類別的高斯混合模型參數（wk，μk，Σk）。EM算法是通過迭代進行極大似然估計（maximum likelihood estimation）的優化算法，通常用于對包含隱變量或缺失數據的概率模型進行參數估計。EM 算法包括2個步驟：E-step和M-step。在E-step計算中，通過評估對隱藏變量的現有估計值，計算E-step中最大似然估計值：

在M-step計算中，通過把E-step上求得的最大似然值最大化操作后，來計算參數的值。每個類的潛在變量平均值μk、協方差Σk和先驗值wk更新如下：

式中：Tk為給定場景類別Ik的海報總數量。Mstep計算更新的參數結果將被重新應用于E-step的計算中，2個步驟迭代的交替運行，模型收斂時的結果即可表示人像概率分布.

3.4 基于美學的負規則

不同的背景圖像具備獨特的特點，這些特點決定了不適合人像的位置區域。對于不同前景和背景的組合，人像布局推薦應該隨之改變。本文受到攝影中美學常識的啟發，總結建立了3條負規則［33］。

1）區域規則。指人像圖像應盡可能少地覆蓋其他前景元素和背景中的顯著區域。區域規則確保了在構圖設計時的前景元素間主次分明、簡潔明了。如果前景元素間出現相互覆蓋的情況，圖像可能會出現視覺上的邏輯錯誤；而背景中的顯著區域往往是相對重要的部分，表現了圖像的視覺特點，人像與背景顯著區域保留一定的空間。首先，使用本文設計的顯著性檢測方法檢測圖中顯著區域。然后，通過式（33）量化顯著區域負規則以評估顯著區域與人像布局間的合理性。

式中：M為顯著區域的二元掩碼，可由3.1節的方法生成，或者由用戶手動標注；RectW為在位置W處放置時對象所占據的矩形區域；符號＆為與操作，該操作計算對象所覆蓋的突出區域。

2）直線規則。直線規則是指背景內的直線不應穿透人像的頭部。畫面中線條是構圖的骨架，是整個畫面造型的經絡。畫面中線條結構的走勢能夠很好地襯托照片內容的表現，起到美化照片的作用。本文采用霍夫變換（Hough transform）［34］檢測背景中的長直線。霍夫變化被認為是目前最通用也是效果最好的直線檢測算法。

圖8展示了霍夫直線檢測流程。首先，將圖像中的所有像素點（坐標值）投影到參數坐標系下；然后，在參數坐標系中搜索極值點，確定代表直線的峰值點個數和坐標。當候選的線段被識別出來時，將歸屬于同一條直線的線段相連接，檢測直線的起始點和終點。這樣就實現了霍夫變換下的直線檢測：

圖8 霍夫直線檢測流程Fig.8 Process of Hough line detection

3）滅點規則。滅點規則是指人像主體不應該覆蓋背景的滅點。在線性延展中，從起點出發，如果多條平行線向遠處延展時，最終總是近似相交于一點，該點稱之為滅點。滅點反映了圖像深度的漸變和透視表現力，如果背景出現滅點，應盡量減少人像源點和背景滅點間的相互覆蓋，避免影響以視覺感官為線性走勢的空間次序。

二維空間中的滅點概念如圖9所示，場景中的每一個滅點都有其對應的滅線，這樣滅點檢測就能轉換為同組的直線檢測。本文在進行滅點檢測時，采用了J-Linkage算法。J-Linkage算法最初由Toldo和Fusiello［35］提出，屬于多模型點聚類算法，是現階段滅點檢測中最優的算法。算法核心在于構造優先集矩陣及對矩陣的優化計算。優先集矩陣一般為N×M 的布爾矩陣，假定有N條直線集合和M 個滅點集合。優先級矩陣描述了每條直線和每個假設滅點之間的連續性關系。優先級矩陣優化迭代的過程就是對直線分類的過程。首先，判斷不同直線間的優先級是否相交，將相交的直線直接劃分為同類直線。然后，使用Jaccard距離合并不同類別下的直線。Jaccard距離可用于判斷2個集合間的差異性，表達式如下：

圖9 滅點概念Fig.9 Concept of vanishing point

式中：A、B為2個不同的直線集合。通過計算優先集矩陣內所有直線集合間的Jaccard距離，將Jaccard距離最小的集合組合為同一集合。重復迭代上述操作，直到優先集矩陣內所有直線集合間的Jaccard距離均為1。這種情況下，所有直線集合間的差異化達到最大，也就實現了直線間的分類。

通過式（36）量化滅點規則以評估顯著區域與人像布局間合理性。其中，Z表示滅點的二維坐標。

3.5 雙向規則的組合

對于用戶自己確定的背景圖像，首先，提取圖像像的HSV顏色直方圖特征L，通過比較特征L與背景簇中心Ik，選擇距離最小的簇Ik作為該圖像的類別，根據該類別下的人像分布概率，根據式（37）計算出正規則得分。然后，檢測圖像內顯著區域、直線和滅點，根據式（38）將3條負向規則組合構成負規則得分。

最終將正負規則結合起來，即可獲得該背景下的人像布局得分：

只有當一個位置同時滿足正規則和負規則，該位置才會獲得一個相對較高的雙向規則總分數，這個位置才會被推薦給用戶。

4 實驗與分析

4.1 基于關鍵字的檢索與融合實驗

4.1.1 圖像檢索效果測試

從互聯網社交媒體中準確地發現圖像是一個極富挑戰性的研究熱點。本文為了對系統進行有效的評估，采取人工分別對互聯網直接返回的結果、復雜性方案過濾后的結果及內容一致性排序后的結果的假陽率（false positive rate，FPR）進行評估。假陽率計算式為

假陽率表示為負樣本被識別為真樣本事件發生的概率。為了驗證基于互聯網的圖像檢索方法的有效性，使用幾個例子測試了圖像檢索系統。圖10展示了本文方法檢索的結果。本文的圖像均來源于互聯網搜索引擎，對于每個關鍵字標簽，使用Google Image自動下載500張圖像，經過復雜性過濾、一致性排序后返回前100張圖像作為圖像素材用于后續圖像合成。如表1所示，在使用搜索引擎返回的前100張圖像中，假陽率平均約為81%，即只有約19%的圖像是符合目標預期的。經過圖像復雜性過濾、和一致性排序后，假陽率分別降低至71%、26%。

圖10 圖像檢索結果Fig.10 Results of image retrieval

表1 圖像檢索結果Table 1 Results of image retrieval

對于前景圖像，觀察到復雜性過濾主要篩除了一些拼接的圖像和少量背景復雜的圖像，對于提升準確率而言表現的并不出色。然而，它對于一致性排序的提升卻非常重要，因為它保證圖像在自動分析時可以獲得良好的分割效果，這對于內容一致性排序的提升是非常顯著的。由于本文加入了姿態估計，在檢索具有特定動作的人物，如“Goalkeeper”時檢索效果也有所提升。另外，在使用互聯網引擎進行圖像檢索時，適當的對關鍵字標簽添加適當的動詞或并列詞，如“Manthrow frisbee”和“Jump dog”來獲取目標圖片是非常有幫助的。由于所有數據是依托互聯網搜索引擎獲取的，系統依然受制于初步檢索的結果。例如，在檢索某類人物時，將關鍵字標簽定義為“Prince”，檢索結果多是明星或現代皇室成員，這顯然與用戶預期不同。因此，推薦用戶在檢索過程中同時添加多個并列的關鍵字標簽或根據返回的結果交互性地修正關鍵字標簽來提高檢索的準確率。

4.1.2 圖像無縫融合效果測試

本節主要對圖像融合算法的效果進行測試。圖像合成包括圖像目標區域的分割和無縫融合2步，本文提供了自動的圖像提取，系統根據抓取結果主動生成前景掩碼。如果用戶對自動提取的結果不滿意，可手動實現圖像抓取。

圖11為Cheetah和Polar bear的源圖像、Alpha融合結果和泊松圖像編輯的融合效果。可以發現，在面對不同的前景、背景組合時，2個算法都表現出了各自的特點。Alpha融合能保證源圖像本身的特點不被改變，在圖像的紋理或光照條件相差較大，會產生不真實的融合效果。泊松圖像編輯能保持前景和背景之間保持一致的紋理及光照條件，這會導致圖像發生失真的現象。在給出的2例融合結果中，采用的不同融合算法各有各自的優勢，用戶可以根據不同需求選擇適合的場景進行融合，從而達到更好的融合效果。

圖11 圖像無縫融合結果Fig.11 Results of seamless integration of image

4.2 基于雙向規則的人像布局推薦實驗

4.2.1 人像布局推薦效果測試

在圖像合成中，進行人像布局推薦是新研究的問題，采用了基于雙重規則的人像布局推薦系統對背景圖像生成人像布局推薦。首先，使用TMDB官方API收集海報10 000張，共收集以人像為主題的海報3 574張。然后，提取圖像背景的HSV顏色直方圖特征，并使用K-means將海報分為8類，利用高斯混合模型進行建模，對應類別下的人像概率分布如圖12所示。

圖12 人像分布Fig.12 Distribution of human position

根據3條反向規則，檢測背景的顯著區域、直線和滅點。圖13展示了顯著區域、直線和滅點的檢測結果。需要說明的是，系統提供了手動標注的方式來修正檢測結果。

圖13 負規則檢測結果Fig.13 Results of negative rule detection

將雙向規則的最終結果得分圖相加即可得到最終的推薦結果。目前，沒有明確的指標衡量人像推薦結果，只能通過人工來評判推薦結果的合理性。系統將人像推薦的結果直接應用于圖像合成中，輔助用戶進行圖像布局設計。

圖14展示了正規則、負規則及雙向規則組合下的推薦結果。默認情況下，系統會根據給定的前景人像關鍵字標簽數量，自動實現對應的人像布局推薦。用戶可在手動地添加非人像元素或對人像元素位置進行自定義的修改。每當一張前景圖像加入到背景內，背景圖像下的該區域將被定義為顯著區域。這樣就避免了人像之間與物體之間的相互重疊，預防最終合成結果由于圖像間的覆蓋而出現的邏輯錯誤。

圖14 人像布局推薦結果Fig.14 Results of human position recommendation

4.2.2 系統整體測試

將圖像檢索、人像布局推薦和圖像融合組合在一起，對整個系統的使用效果進行了測試。對系統的多個應用場景示例進行測試。最終生成結果如圖15所示。①用戶輸入Cinderella的文本故事，根據關鍵字篩選結果，使用“Royalprince”和“Bride”作為關鍵字人物標簽，將“Garden”作為背景標簽。檢索到對應圖像后，將所需的物體摳取出來，并通過人像布局推薦結果將目標圖像粘貼到了新的背景中。②用戶直接輸入“Manthrow”和“Jump dog”前景關鍵字標簽，以及“Park”的背景關鍵字標簽。其中，“Manthrow”為前景人物標簽，“Jump dog”為普通的前景標簽。③用戶將“Ski man”設置為前景人物標簽，“Polar bear”作為普通的前景標簽，“Snow field”作為背景標簽。④用戶輸入The Wonderful Wizard of Oz的文本故事信息，系統將“Little girl dorothy”、“Tin woodman robot”和“Scarecrow”作為前景關鍵字，將“Forest”作為背景關鍵字。其中，將“Little girl dorothy”設定為人物標簽，其他均為普通標簽。用戶需要手動為普通的前景元素定義位置和大小信息，隨著普通前景元素的加入，人像布局推薦結果也會隨之改變。系統會自適應地為所有的前景人物推薦布局信息，并根據人臉的尺寸自動縮放圖像，實現前景人物元素的自動拼接。從上述4個例子中可以發現，依靠本文系統能夠根據文本信息“從無到有”地實現目標圖像合成，并且所合成的圖像十分真實自然。

圖15 系統整體結果Fig.15 Final result of system

5 結 論

本文提出了一種基于關鍵字的海報自動合成系統，并設計了圖像檢索、圖像布局及圖像融合的具體方案。在圖像檢索階段，本文設計了文本和內容的雙重過濾方案，該方案采用復雜性過濾和一致性排序的方法實現從海量的圖像庫中準確快捷地檢索圖像的目的，降低了檢索過程中的假陽率，為用戶提供了精準快捷的圖像檢索手段。在圖片布局設計階段，本文設計了一種基于雙向規則的人像布局推薦方案，該方案采用正負規則組合的方法提升了海報設計中人像布局中前景人像與背景圖像之間的協調度。在圖片融合階段，采用顯著性檢測和GrabCut相結合的算法解決了GrabCut算法不能實時處理的問題，實現了圖像實時高效的自動分割，并且提供了Alpha融合結果和泊松圖像編輯的融合2種融合方法供不同場景選擇。