山東省可視媒體技術研發現狀及發展趨勢預測

張光

摘要：可視媒體（Visual Media）技術由于具有非常廣闊的應用前景，已經引起了國際學術界、企業界、政府以及國防軍事部門等的高度關注。山東省的可視媒體技術在研究和發展上均已起步，并獲得了一定的成績。為了對山東省的可視媒體技術研發現狀及發展趨勢進行深入了解、分析和前瞻，本文對相關情況進行了調研，并對其進行了總結和梳理，從而可以更好的指導此領域的近一步發展。更重要的是，作為一項典型的應用型研究技術，對于可視媒體技術研發現狀及發展趨勢的研究將對類似的高新技術轉化和產業化提供有效的啟示和經驗。

關鍵詞：可視媒體；現狀；發展；預測

中圖分類號：TP330 文獻標識碼：A DOI：10.3969/j.issn1003-8256.2014.04.008

1 可視媒體技術概述

視覺作為我們人類認識和感知這個世界的最重要手段，能夠給我們提供大量的有效信息，包括圖像、文字、視頻等等，大約占我們所接收到的信息的百分之八十以上。通常，把承載視覺信息中非文字部分的媒體類型稱為可視媒體。可視媒體技術一直以來都是令人非常感興趣的問題[1]。所謂可視媒體技術（Visual Media Technology），一般而言，是利用計算機技術來產生一種虛擬環境，并且能夠使用戶在心理上產生一種融入于虛擬環境中的感覺，這是通過圖形圖像技術構成三維空間，或者把其它現實物體和環境通過某種技術編制到計算機虛擬空間中來實現的，不僅如此，用戶還可以與這種虛擬的環境進行某種程度的交互[2]。當今社會信息技術與網絡技術飛速發展，可視媒體的獲取與傳播日益變得方便快捷，可視媒體的地位也有顯著提升，現已逐漸成為信息處理和信息資源建設的主體[3]。

隨著計算機信息科技的發展和多媒體設備硬件性能的提高，可視媒體技術的發展變得越來越迅速，應用領域也變得越來越廣泛。可視媒體技術作為信息化、數字化產業等重大領域進一步發展的核心需求，已經逐步滲透到政治、經濟、軍事、文化、科技等各個領域[4]。

在人類幾千年的歷史文明進程中，文字和可視媒體都起到了非常重要的作用，但毫無疑問的是文字始終是作為主導角色的，圖片等則是作為補充角色。然而隨著信息時代的到來，可視媒體的地位也產生了翻天覆地的變化，當前電影電視等視頻媒介已成為比較大眾化且具有重要影響力的媒體形式。人們的日常生活被這種可以廣泛傳播的可視媒體豐富著且改變著。但是，可視媒體的制作需要大量專業人員進行編輯處理，工作繁重而且技術難度較高，普通大眾往往只能采用被動式的輸入模式[5]。

這幾年來，可視媒體正逐漸成為人們感知現實世界不可或缺的重要手段之一[5]。人們的生活方式也隨著生物特征識別、非接觸式姿態感知[6]、街景地圖、衛星導航等諸多可視媒體技術的應用而發生了巨大的變化，與此同時也產生了可觀的經濟效益。科學技術在不斷發展進步，同樣的承載可視媒體的工具也漸漸變得多種多樣，計算機、手機、數碼相機、攝像機等等各種電子設備的普及，可以讓人們方便的從周圍獲取各種各樣的可視媒體[7]。同時，計算機圖形學、人機交互與虛擬現實等技術的快速發展，可以實現各種可視媒體在計算機上被虛擬生成，另外，可視媒體的制作與處理工作由于計算機處理性能的不斷提升以及硬件產品價格的低廉化，正逐漸從專業級的高價設備向普通計算機平臺進行轉移。此外，人們可以利用可視媒體技術，對某些可視媒體進行制作、分析、控制等處理，從而使得其產生的內容、表現形式等能夠更加的受到注目，人們與各種媒體設備諸如手機、PC、PAD等的交互渠道因此而被拓展，并且還能夠體驗現實中無法體驗的經歷[8]。總而言之，隨著互聯網技術的飛速更新與發展，可視媒體技術的應用越來越廣泛，影響也越來越深遠。

1.1 可視媒體技術特點

可視媒體與虛擬現實有著密切的關系，因此可視媒體在某些特征方面與虛擬現實系統相一致[2]，具體如下：

實時性，對于用戶的輸入可以及時地做出反饋和響應，不會令畫面有停滯現象的發生。實時性是可視媒體技術中非常重要的一個參考指標，因為如果圖像或者場景產生跳躍現象的話會帶給人一種十分不舒服的感覺，給用戶的心理造成影響。

沉浸感，描述的是一種感知程度，是指用戶作為主角對虛擬環境真實感的感受狀態。理想的情況應該是使用戶難辨真假。

交互性，是指用戶對虛擬環境內的物體的可操作程度和從環境中得到反饋的自然程度。

想象力，是指用戶在多維信息空間中，依靠自己的感知和認知能力全方位的獲取知識，發揮主觀能動性，尋求解答，形成新的概念。

沉浸感、交互性和想象力是虛擬現實技術中的三個重要因素。

當人們通過各種各樣的手段和設備獲取到可視媒體的數據之后，往往要對這些數據進行編輯與進一步處理的工作[9]。互聯網為用戶提供了極其豐富的可視媒體資源，但是也對這些可視媒體資源的編輯與處理產生提出了很高的要求。主要考慮兩個方面的原因：一是可視媒體數據的獲取要經過諸多步驟，比如采集、編碼、壓縮、傳遞等等，在實際的操作過程中，每個步驟都有難以避免的引入一定的噪聲干擾，這會引起誤差甚至導致錯誤，對這些可視媒體數據進行修正或增強等工作是十分有必要的，用以保證數據盡量真實有效可用；另一方面，可視媒體的使用總會帶有一定的目的性，比如表達某種思想或傳遞某種信息，也就是說，為了目標的達成，通常人們會對可視媒體數據進行再加工創造等工作，例如對各種素材進行剪輯、編輯、合成等，使得用戶想要表達的思想或信息更加自然流暢。

1.2 國內外研究現狀

目前，針對可視媒體技術進行研究的大學及學術組織非常多，其中主要有：微軟亞洲研究院、華盛頓大學（美國）、明尼蘇達大學（美國）、卡內基梅隆大學（美國）、巴斯大學（英國）、中國科學院、清華大學、西安交通大學、上海交通大學、中國科學技術大學、中山大學、香港科技大學等等。

可視媒體有許多的關鍵技術，其中對于對象的提取是最基本也是非常重要的。首先對于圖像中的對象的提取，2004年，Boykov等[11]人引入了動態搜索樹，改進并加速了經典的Ford-Fulkerson算法，由此，基于圖割的方法開始在圖像分割領域得到廣泛應用；香港科技大學的Li等[12]人提出一種 coarse-to-fine分步式的交互圖像分割系統，可以在不同尺度條件下得到圖像分割結果；2009年，中國科學技術大學的Liu等[13]人提出了Paint Selection系統，提高了圖像分割中的用戶體驗；微軟亞洲研究院的Cohen等[14]人提出了一種matting方法，將圖像合成與摳圖集成到了同一個優化過程中；2010年，巴西UFRGS信息研究院的Gastal等[15]人提出一種實時的自然圖像摳圖技術，設計了一種精巧的選擇前景和背景共享采樣方法，大大提高了計算速度。另外，對于視頻對象提取，大體上有兩類方法：一類是基于三維Graph-Cut算法， 2005年，微軟亞洲研究院的Li等[16]人提出一種方法，首先對輸入視頻進行預分割處理，然后在分割結果上使用三維圖割算法進行對象提取；2007年，美國楊百翰大學的Armstrong等[17]人提出一種瀑布（cascading）圖割算法，對于三維數據塊來說，它支持交互速率級別的分割與提取。另一類是基于關鍵幀的跟蹤傳播方法，2002年，美國華盛頓大學的Chuang等[18]人提出了用雙向光流傳播三元映射的視頻對象提取算法；2004年，同樣來自華盛頓大學的Agarwala[19]提出一種在視頻中跟蹤邊界的方法；2005年，英國巴斯大學Coliomosse[20]提出了名為Stroke surfaces的系統；2009和2010年，明尼蘇達大學的Bai等[21][22]人提出的Video SnapCut，這也是目前效果最好的方法。

隨著可視媒體的發展，它在公安、國防、金融、保險、醫療衛生、計算機管理等領域均發揮了重要作用，已引起國內學術界的高度重視。當前，國內各個高校已經或將要設立關于可視媒體的實驗室或研究中心，并建立自己的研究團隊。下面介紹目前國內部分高校可視媒體實驗室建設的相關情況。

1） 清華大學可視媒體研究中心

清華大學計算機系于2007年3月，成立可視媒體研究中心，開展可視媒體的智能處理的研究。目前中心承擔了國家重大基礎研究（973）計劃項目“可視媒體智能處理的理論與方法”，以及多項國家自然科學基金和國家863高科技項目。研究中心成員包括：五名教授、三位副教授、四位博士以及兩位助理研究員。

目前研究中心的最新成果包括：基于積分不變量和特征敏感度量的的幾何處理、三維模型的拓撲修復、視頻處理、半透明材質的編輯、三維數據的知識產權保護和虛假圖像識別、基于反曲率映射的最優共形參數化、使用單形變換的骨架變形動畫、實時全局光照明等等。

已完成的科研項目有：可視媒體智能處理的理論與方法，國家重大基礎研究（973）計劃項目；特征敏感的幾何處理，國家自然科學基金項目；真實點云模型的幾何形狀表示及修復方法，國家自然科學基金項目；基于結構分析的視頻處理，高等學校博士點基金項目；數字幾何處理的理論框架與關鍵技術研究，國家自然科學基金重點項目；大規模動態場景目標行為過程實時建模與表現方法，國家863高科技項目（探索類）[23]。

2） 西安交通大學可視媒體計算實驗室

可視媒體計算實驗室（Visual Media Computing Lab）隸屬于西安交通大學電信學院，主要研究圖像、視頻等各類可視媒體信息的計算理論、算法和應用技術。涉及的核心理論主要有信號處理、模式識別與機器學習等。實驗室和英國卡迪夫大學、美國俄克拉荷馬州立大學、微軟西雅圖研究院、清華大學、北京大學、中科院自動化所、北京航空航天大學、復旦大學、浙江大學等國內外本領域的高水平課題組有較密切的學術交流。

實驗室現有教師3人，博士后1人，博士生3人，碩士生12人。

近幾年，實驗室共承擔科研項目10余項，其中國家自然科學基金項目1項、國家科技支撐項目子課題1項、教育部重點項目1項、軍口863計劃子課題1項、西安市科技攻關計劃重點項目1項、科技攻關計劃項目1項、企業委托課題若干。申請國家發明專利2項目，在Pattern Recognition Letter、Science in China Series F： Information Sciences、Journal of Computer Science and Technology、軟件學報、自動化學報等重要學術刊物及ICCV等重要學術會議上發表學術論文10余篇[24]。

2 山東可視媒體技術研究發展情況

2.1 擁有實力較強的研究隊伍

近幾十年來，山東省各個高校的教學科研工作迅速發展，最近幾年，科研團隊的數量和質量都有了顯著的提高[25]。目前，在可視媒體技術方向，有數十名從事專項研究的教授、副教授。他們帶領的團隊，包括了博士生、碩士生等高層次研發人才。他們對于科研工作的開展一般是通過研究并發表學術論文、科研實驗以及畢業設計等等來進行的。這支隊伍的特點是：人員數量充足、知識層次較高，各個年齡段的人員相結合，既具有豐富的經驗，也有很強的活力和創造力。

據不完全統計，到2010年底止，山東省在可視媒體技術方向，在購置科研儀器、設備方面的投入已經超過200萬，在科研方面的經費投入已經超過500萬，在相關生產、設備方面的投入已經超過5000萬，已經形成了高校、企業共同建設的良好局面。

據了解，目前山東省可視媒體技術方向已完成成果十余項，成果水平也分別達到了國際先進、國內先進。

但是，目前山東省在可視媒體技術方向，也存在著實力分散，缺乏極其突出的企業和頂尖的研發團隊的問題。與國際國內相關領域的領軍團隊相比還存在較大差距。

2.2 承擔并完成了一批重要科研課題

2000年以來，在可視媒體技術方向，山東高校承擔了國家和省部級科研課題十余項。有些課題對我國可視媒體技術的發展產生了深遠的影響。有些科研項目尚在研究之中，有些已經如期結題，甚至已經開始推廣轉化，正逐步應用于現實生活之中。

目前，山東省承擔的科技項目中，包括國家自然科學基金、山東省自然科學基金重點項目、山東省高新技術自主創新工程專項、山東省科學技術發展計劃（科技攻關）項目、山東省優秀中青年科學家科研獎勵基金計劃（博士基金）項目等。

論文方面，山東省在可視媒體方向也做出了重要貢獻。就分別從CNKI、萬方、Engineering Village中搜索山東高校和企業完成的相關論文看，目前山東省在可視媒體技術方向已經發表大量高水平學術論文。

當然，目前山東省的相關研究也存在研究點分散、缺乏具有廣泛影響力的重大研究課題的問題。在研究課題方面，山東省迄今共承擔國家自然科學基金重點項目4項（孟祥旭/2009，張彩明/2010，尹義龍/2013，屠長河/2014），但尚未承擔國家自然科學基金重大項目和973項目；論文方面，雖然數量和級別逐年提高，但是國際頂級的代表性著作數量仍然偏少；另外，在平臺方面，只有掛靠在山東財經大學的山東省數字媒體重點實驗室，還沒有相關的教育部重點實驗室、工程技術中心和國家重點實驗室、工程技術中心或工程研究中心[25]。

2.3 為社會培養了大批高素質人才

2000年以來，可視媒體技術領域，在科研教育和實踐的錘煉下，大批高校學生、研究生，特別是博士生、博士后等高素質人才不斷被培養出來。這些人才里面有很多已經成為相關行業的核心力量和領軍人物，有的甚至已經成為技術專家。不僅如此，山東各個高校、研究院等科研機構還注重利用自身條件，舉辦學習培訓班、開展學術交流會議、舉行相關行業技術培訓等形式，為企業源源輸送了一大批實用人才。事實證明，在可視媒體技術方向，山東高校已經成為培養高素質科技創新人才不可缺少的重要渠道。

3 山東可視媒體技術研究發展趨勢

3.1 發揮高校優勢，重點抓好高新技術的研究與開發工作

要想快速發展高新技術產業，并將之轉換為經濟效益，離不開高新技術的研究與開發，這是關鍵和基礎，并能起到先導的作用[25] [26]。高等學校應發揮自身高新技術研究與開發實力強、基礎條件好的優勢，把科研工作的重點轉移為經濟建設和社會發展服務上來。

對高校現有的高新技術成果，要選擇應用前景好的項目，在有關部門和企業的支持下，盡快安排大規模實驗，以便在生產實際中推廣應用，發揮應有的經濟效益。另外，高等學校也要積極參與運用高新技術改造提升傳統產業工作，促進我省產業結構升級、提高全省經濟整體素質和競爭力。

隨著可視媒體技術研究及產業化的推進，啟動相關環節的規范工作，形成以共享為核心的制度框架非常必要。當前山東省可視媒體技術研究及產業化方面的科技資源共享意識十分淡薄。在這個方面，相關知識產權和技術的共享平臺建設將成為推動山東可視媒體技術研究及產業化發展的重要工具。加強這些知識產權資源的整合與共享，首先要明晰高新科技資源的產權歸屬，確立公共科技資源共享的法律地位。當前國家這方面的尚缺乏相應的規定，可充分利用地方立法權進行探索。

3.2 大力推進大學科技園、工程技術研究中心、重點實驗室和實驗基地建設，加強高新技術成果孵化

大學的科技園、工程技術研究中心、重點實驗室和實驗基地，擔負著高新技術研究、試驗與開發、培養高素質創新和創業人才等重要任務，能夠引導高新技術研究及產業化的發展，并起到示范作用，然后呈輻射狀態向全社會推廣，科技園區、研究中心、實驗室和基地建設工作的全面開展對全省的經濟建設有著不言而喻的重要戰略意義和價值。中共中央國務院在《關于加強技術創新，發展高科技，實現產業化的決定》中強調：“支持發展高等學校科技園區，培養一批知識和智力密集、具有市場競爭優勢的高新技術企業和企業集團，使產學研更加緊密的結合”[26]。

根據山東省可視媒體技術研究及產業化發展的需要選擇部分條件適宜的高等學校、科研機構和大中型企業，建立一批省級重點實驗室和中試基地，使其成為面向經濟部分的開放式的高新技術轉化基地，以提高科技成果的成熟化和配套化程度。同時根據實際需要，充分利用現有基礎，適當建立一批面向可視媒體技術研究及發展的工程技術研究中心、高新技術創業中心和技術推廣中心等，推進科技成果商品化、產業化的前期研究開發，向社會提供成熟的高新技術成果和工程設計、工藝流程、人員培訓等服務。

3.3 依托高等學校，加快高素質創新人才的培養與引進工作

有資料顯示，山東省的科技綜合實力在全國僅位居第十六位，與經濟實力的水平不相適應。高素質高層次的人才嚴重不足，這直接阻礙了山東省高新技術研究與產業化的進程。在可視媒體技術研究及發展方面，這種現象也普遍存在。

大力發展高新技術，實現產業化，創造可觀的經濟效益，加快高素質創新人才的培養是根本。根據山東省高新技術及產業化發展的需要，調整高等教育結構，深化教育改革，培養更多的富有創新精神的高科技人才。同時，采取多種形式大力引進人才，簡化引進高層次專家、學術帶頭人和各種優秀中青年人才的手續，如兩院院士、博導和有突出貢獻的中青年專家等，制定來去自由的政策。鼓勵和支持省內外高等院校、科研機構與企業建立博士后科研工作站。加強與中國工程院、中國科學院、清華大學、北京大學等單位全面合作，創建引進、培養人才的平臺。

3.4 鼓勵廠校建立企業，聯合進行成果轉化

隨著社會主義市場經濟的發展和科技體制改革的深入，科技成果轉化的機制也不可避免的會有所改變，之前是以政府投資為主，現如今企業、高校和科研機構已逐步成為高新技術成果轉化的主體，同時也將成為轉化所需費用投入的主體[26]。通過以上材料分析可以看出，廠校共同投資，技術入股，建立密切的股份制企業，是高新技術成果轉化較為成功的一種好方式。這種方式的優點為：一是資金可以在較短的時間內被籌集到； 二是具有完善的股份制企業的組織結構和監督機制，所有權與經營權分離，單個出資方對經營活動產生的影響較小；三是高新技術產業化過程中的風險可在較大范圍內被化解。所以，鼓勵和引導企業、高校精誠合作，開闊思路，不斷尋求更加適應生產力發展的高新技術成果轉化新方式是十分必要的。

在可視媒體技術研究及發展方面，采取股份制合作的方式，無論對產學研結合的高新技術研發道路還是對做大做強我省的相關企業都有著重要的推動作用。

3.5 提高執法力度，確保技術研究和產業化健康發展

國家和我省都陸續出臺了“科技進步法”、“科技成果轉化法”、《關于建立風險投資機制的若干意見》、《知識產權法》、《關于加強技術創新，發展高科技，實現產業化的決定》、《關于鼓勵技術作為生產要素參與收益分配的若干規定》等法規和政策，這些法規和政策對高新技術研究、試驗、技術創新、成果轉化推廣等工作都有了較為明確規定和要求，各級政府和有關部門，應加強執法情況的檢查和監督，切實維護高校、科研機構、企業和相關科技人員的利益，保護他們的積極性，為推進我省高新技術研究及產業化進程做出積極的貢獻[26]。

參考文獻：

[1] 胡事民.可視媒體的智能處理[J].中國計算機學會通訊， 2009， 5（7）：6.

[2] 邢靜. 基于圖形的可視媒體構建[D]. 北京交通大學碩士學位論文， 2007.

[3] Philippe Aigrain， Hongjiang Zhang， Dragutin Petkovic. Content-Based Representation and Retrieval of Visual Media： A State-of-the-Art Review [J]. Multimedia Tools and Applications， 1996， 3（3）： 179-202.

[4] 丁濛. 可視媒體編輯與處理的若干問題研究[D]. 浙江大學博士學位論文， 2011.

[5] 張赟. 可視媒體交互式編輯與融合研究[D]. 浙江大學博士學位論文， 2013.

[6] Microsoft Corporation. Kinect for windows[EB/OL]. http：//www.microsoft.com/en-us/kinectforwindows/

[7] Boykov Y， Kolmogorov V. An experimental comparison of min-cut /max-flow algorithms for energy minimization in vision[J].IEEE Trans.Pattern Anal.Mach.Intell.2004， 26（9）：1124-1137.

[8] Li Y， Sun J， Tang C K， et al.Lazy snapping[J].ACM Trans.Graph， 2004， 23（3）： 303-308.

[9] Liu J， Sun J， Shum H Y. Paint selection[J].ACM Trans.Graph， 2009， 28（3）： 1-7.

[10]Wang J，Cohen M F.Simultaneous matting and compositing[C]. Proceedings of the 2007 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos， CA， USA： IEEE Computer Society， 2007： 1-8.

[11]Gastal E S L， Oliveira M M.Shared sampling for real-time alpha matting[J].Computer Graphics Forum， 2010， 29（2）： 575-584.

[12]Li Y， Sun J，Shum H Y. Video object cut and paste[J].ACM Trans.Graph， 2005， 24（3）： 595-600.

[13]Armstrong C J， Price B L， Barrett W A.Interactive segmentation of image volumes with live surface[J].Comput.Graph， 2007， 31（2）： 212-229.

[14]Chuang Y Y， Agarwala A， Curless B， et al.Video matting of complex scenes[J].ACM Trans.Graph， 2002， 21（3）： 243-248.

[15]Agarwala A， Hertzmann A， Salesind H， et al.Key frame-based tracking for rotoscoping and animation[J].ACM Trans.Graph， 2004， 23（3）： 584-591.

[16]Collomosse J P， Rowntree D， Hall P M. Stroke surfaces：Temporally coherent artistic animations from video[J]. IEEE Trans. on Visualization and Computer Graphics， 2005， 11（5）： 540-549.

[17]Bai X， Wang J， Simons D， et al.Video snapcut： robust video object cutout using localized classifiers[J].ACM Trans.Graph， 2009， 28（3）： 1-11.

[18]Bai X， Wang J， Sapiro G.Dynamic color flow： a motion-adaptive color model for object segmentation in video[C]. Proceedings of the 11Ith European conference on Computer vision： Part V. Heraklion， Crete，Greece：Springer-Verlag， 2010： 617-630.

[19]清華大學可視媒體研究中心[Z]. http：//cg.cs.tsinghua.edu.cn/vm/

[20]西安交通大學可視媒體計算實驗室[Z]. http：//vmcl.xjtu.edu.cn/

[21]謝志峰. 可視媒體交互與合成技術研究[D]. 上海交通大學博士學位論文， 2012.

[22]趙語濤. 可視媒體中的流體運動分析與合成問題研究[D]. 上海交通大學博士學位論文， 2012.

[23]Amarnath Gupta， Simone Santini， and Ramesh Jain. In Search of Information in Visual Media. Communication of the ACM， 1997， 40（12）： 34-42.

[24]俞俊， 莊越挺. 計算機角色動畫制作中的可視媒體融合綜述[J]. 計算機輔助設計與圖形學學報， 2008， 20（5）： 545-553.

[25]尹義龍. 山東生物特征識別技術研究及產業化現狀與發展對策研究[R]. 山東省軟科學項目報告， 2012.

[26]帥相志. 山東高校高新技術研究與產業化發展對策[J]. 國際技術經濟研究， 2001， 4（4）：44-50.

（責任編輯：龍 蓉）

Research on Situation and Development Trend Forecast of Visual Media Technology of Shandong Province

ZHANG Guang

（Shandong Provincial Qianfoshan Hospital， Jinan 250014， China）

Abstract：Visual media technology has a very broad application prospects. It has caused a high degree of concern in the international academic community， the business community， government， and defense & military sector. The visual media technology research of Shandong Province are developing rapidly. For understanding， analysis and foresight the status of visual media technology research situation and development trend forecast in Shandong， our research summarize the current situation and propose steps forward. More importantly， this research of the visual media technology is similar to the high-tech transformation and industrialization.

Keywords：Visual media；Current situation；Development；Forecast