智能化普適多媒體服務模式與支持技術研究

張宇　閆幸

摘? 要? 文章闡述了普適多媒體服務的模式和過程，分析了其中所需的多媒體處理技術、大數據技術、深度學習、云計算、社會物聯網等各種新技術對于展開服務規模化應用的支持作用。闡述了智能化普適多媒體服務集成框架的需求分析、設計方法和原則，設計了其體系結構，并對其中主要服務器的功能進行了說明。

關鍵詞? 人工智能;普適服務;多媒體;大數據;云計算

中圖分類號? G2? ? ? 文獻標識碼? A? ? ? 文章編號? 2096-0360（2020）13-0025-04

普適多媒體服務是指以人為中心，隨時隨地、無所不在的，能夠通過各種網絡終端設備和各種媒體形式，為用戶提供各種業務的內容服務。與互聯網環境不同的是普適服務不僅要考慮用戶與內容、用戶與用戶之間的關系，而且要考慮時空環境、網絡終端設備等情境因素對用戶需求的影響。其目標是在適宜的情境下，以適宜的方式和形式，為用戶提供豐富多彩的內容[1]。

目前，國內外研究人員在普適計算、個性化服務、多媒體技術等相關領域進行了深入的研究，取得了大量成果。但受到理論、技術、網絡和軟硬件設備條件等的限制，讓各種普適多媒體服務業務真正融入人們的日常工作和生活，以更加靈活、主動和智能的方式提供滿足用戶需求的內容產品，展開大規模的應用，還需要較長的一段研究與實踐的過程。人工智能、大數據、深度學習和云計算等新的理論和技術的發展為上述目標的實現提供了重要的支撐。能夠不斷滿足普適環境下用戶對于多媒體服務的及時性、多樣性、易用性、穩定性和安全性的各種要求。普適多媒體服務的發展趨勢表現為：從單一媒體到跨媒體;從分散到統一;從設備到云端;從數據到語義;從感知到認知。要實現各種規模化的應用，智能化是必由之路。

1? 普適多媒體服務的模式與過程分析

1.1? 普適多媒體服務的模式

普適多媒體服務的業務模式多樣，如：智慧旅游、智能家居、智慧圖書館、移動學習、遠程醫療、普適推薦、智能汽車等。表1總結了從不同視角對普適多媒體服務模式的分類，這些類型可以進行多種組合，從而為用戶提供種類繁多的服務。

1.2? 普適多媒體服務的過程

1.2.1? 服務系統的學習過程

服務系統的學習過程主要回答：用戶在何種情境下需要何種類型、何種形式內容的問題。該問題又細化為5個階段：

1）原始數據獲取：即從表1描述的各類數據網絡中獲取原始數據，這些數據通常具有時間戳，詳細記錄了用戶在怎樣的情境下，通過何種方式獲取過何種類型和形式的內容。

2）數據預處理：預處理階段需要清除無意義的、冗余的數據、解決數據的沖突、對缺失的數據進行填補、通過本體對其進行規范描述，形成集成完整的數據集。

3）數據存儲：部分數據是即取即用，提取出規則即可;而有的數據則需要以適當的格式存儲以待后續分析。隨著用戶數量的增長，上下文數據種類的增加，多媒體內容資源量的增長，傳統的服務器處理方式很難勝任工作，需要運用云計算的理念，采用彈性的方式組織。

4）數據分析：其目標是發現描述用戶情境的上下文數據的類型、取值與用戶具體需求之間的各種關系，為后續系統的服務決策提供支持。這一階段的工作最為重要也最為復雜。

5）規則存儲與更新：主要任務是將數據分析階段得到的各種上下文與用戶需求之間的關聯知識進行保存，以備系統工作過程使用。用戶興趣具有漂移的特征，學習機制需要不斷運行，對服務規則進行更新。對于大規模的服務系統，一般采用增量式學習方式。

1.2.2? 服務系統的工作過程

從用戶與系統的交互方式視角看，可分為推式、拉式和互動方式。

1）主動推送：可分為兩種問題。第一種即已知用戶及其情境信息，求解適宜推薦的內容;第二種即已知需要推送的內容，求解需要被推送內容的目標用戶及其情境。兩種問題的本質均是在系統學習過程得到的規則庫中提取所需的知識規則。規則的提取通過對知識庫中的用戶偏好與內容相似性的計算、規則情境與現實情境的相似性計算的方式進行，當滿足相似度閾值時，做出內容推送決策[1]。

2）用戶請求：在用戶發出請求之前主動感知描述用戶情境的基本上下文數據，可以提高系統的響應速度，如：系統可事先對粗粒度的時間上下文（工作日、周末）、位置上下文（圖書館、操場、寢室等）進行獲取工作，根據情境偏好知識庫中的知識規則對業務內容進行初始排序;在用戶開始與系統進行交互時，再逐次獲取知識庫中描述情境的其他類型的上下文數據，對內容服務類目及其子類目的優先級進行調整。這種方式在一定程度上能夠平衡系統負載，體現系統的智能化特征，獲得良好的用戶體驗。

1.2.3? 多媒體內容的適配過程

普適環境相對于固網環境在多媒體服務方面具有很多劣勢，如：屏幕尺寸小、處理器運行速度較低、輸入不方便、文件支持度較低、網絡速度限制等。內容適配是根據用戶偏好，在網絡和終端能力約束的條件下，通過各種多媒體處理技術對內容進行加工處理，使各種內容資源滿足用戶需求的過程。傳統的多媒體服務業務往往需要用戶和內容提供商做出大量的手工選擇和處理，要實現大規模的應用，內容適配過程的自動化和智能化也是必然趨勢，即根據用戶的偏好、網絡和終端條件，主動智能地為其選擇、加工和推送內容。

內容適配首先需要對終端設備和網絡特征進行描述，將這些特征與內容元數據進行比較，然后對內容進行各種處理。目前一些國際組織已提出一些相關的元數據規范，具體應用需要結合各種參數進一步擴展。內容適配需要信息處理領域一系列智能技術的支持，如：信息提取、文本摘要、媒體形式轉換、圖像縮放、碼率和分辨率調整等。

2? 智能化普適多媒體服務支持技術分析

2.1? 多媒體處理技術

多媒體信息的載體主要有文本、圖形、圖像、音頻、視頻等。多媒體技術融合了對多種媒體、復雜的智能化處理和交互，具有多樣性、集成性、實時交互性、信息儲量大等特征。目前，多媒體技術已廣泛應用于工業、農業、國防、教育和娛樂等諸多領域。本文探討的重點并非已得到成熟應用的編碼、傳輸、壓縮、解碼、同步以及數據庫等技術;而在于跨媒體分析、集成化、嵌入化、智能化等方面，其應用如：計算機視覺、智能監測、醫學診斷、虛擬現實技術等。

對于智能化普適多媒體服務的研究，需要特別關注的兩個方向：一是跨媒體智能[2]，其主要目標是面向不同的系統，使用不同的轉換規則，智能地進行數據轉換和集成。因此要求智能數據適配器必須具有通用性、智能性、穩定性和可解釋性的特點。二是多媒體內容理解[3]，如：對于文本、圖像、音頻和視頻，讓計算機能夠識別其中表達的主題思想。該技術在普適環境下，可用于目標監測、用戶行為、心理、健康狀態等的分析與識別，是實現普適環境下精準化服務的前提條件。大數據和深度學習技術為實現該目標提供了有力的支撐。

2.2? 大數據技術

普適多媒體服務的數據來源多樣：描述用戶靜態特征的上下文數據，動態心理、行為特征的上下文數據、互聯網數據、移動網絡數據、寬帶衛星、GIS、GPS數據等。這些數據在規模、時間、類型等方面都有著不同的特性。如：種類繁多、數據量大、結構異構、變化速度快、價值密度低等。對這些數據進行處理和分析，采用傳統的基于模型的方法顯得力不從心。通過大數據分析和處理技術，構建通過各種特征描述的用戶集之間、多媒體內容集之間、情境集之間，及其三者之間的關聯關系，以此來支持普適多媒體服務的智能化。在服務提供的整個過程中，大數據技術的作用包括：海量異構媒體數據的采集;數據的預處理;分布式文件系統管理及負載均衡;各類數據的關聯分析等[4]。

2.3? 深度學習技術

目前，普適服務領域的研究在描述用戶情境的上下文類型定義上比較全面，本文將上下文歸納為4個基本的類目：時空上下文、物理上下文、用戶上下文和計算上下文，如圖1所示。但是由于受到網絡及軟硬件條件和處理方法的局限，各種服務應用所能使用的上下文種類非常有限，一般僅限于部分靜態上下文，如：性別、職業、終端描述等;動態上下文的情況則更加困難，能夠使用的僅限于如：時間、位置、溫度等。要提供更加精準智能的服務，用戶活動、心理狀態、意圖的識別對于準確理解用戶在普適環境中的內容需求至關重要。

深度學習如今己成為人工智能領域一個熱門的研究方向，推動了整個人工智能領域的發展，在圖像處理、語音識別、情感識別、行為識別，目標檢測、自然語言理解等領域的應用中取得了令人滿意的效果。多智能深度強化學習將是深度學習進一步研究的方向，其應用包括：一是社交行為學習，目的是挖掘出用戶的模式，從而預測用戶的行為;二是跨媒體學習，以逐層學習的方式提取海量跨媒體信息的特征，尋求不同模態信息的關聯，提高跨媒體檢索效率[5];三是構建推薦算法和推薦系統，根據用戶模式，從海量大數據中挖掘出用戶最需要的內容，大大節約用戶搜索數據的時間。然而，深度學習目前也存在較多問題：參數過多、計算代價大;應用較多而理論研究滯后;用深度模型來表示語義信息還需要更多的研究等。

2.4? 云計算技術

云計算集合了虛擬化、并行計算、分布式處理、大數據的存儲與處理技術、資源管理與調度等多項技術。其理念是通過提高云的處理能力，減少用戶終端的處理負擔，使用戶能以即插即用的方式享受強大的計算處理能力[6]。特點：彈性服務、資源池化、按需服務、服務可計費、泛在接入。服務提供商和用戶均可不再受到本地服務器和設備資源的限制，用戶可在云服務器中存儲和訪問豐富的多媒體資源，并且還可延長用戶終端的續航時間和使用壽命。

普適計算雖經過多年的發展，仍未進入規模化應用。主要原因：一是網絡帶寬和接入能力不足;二是設備計算能力不足。云計算和普適寬帶網絡的出現，對普適計算所需的大容量帶寬和實時計算能力的要求提供了有力保障。云媒體具有非常廣闊的應用前景，可用于娛樂、教育、安防等諸多領域。目前，云媒體在解決媒體任務時仍面臨著許多問題和挑戰，如：多媒體資源、網絡及設備的異構性、任務合理調度問題、媒體服務器負載均衡問題等。

2.5? 社會物聯網技術

物聯網是通過RFID、紅外傳感、GPS等信息傳感設備，按約定的協議，通過各種網絡將各種終端設備聯接起來，進行信息交換和通訊，以實現智能控制和管理的網絡。物聯網主要考慮物體管理與物體連接的問題，忽略了傳感器設備和用戶終端所反映出來的人與人之間的關系，如：智慧旅游系統設計中，通過GPS系統獲取到多位用戶在某地景點旅游，通過PDA設備的物物關系，可以建立人與人之間的關系，相互分享心得，推薦具有特色風土人情的景點、餐飲地點信息等。社會物聯網[7]將物聯網與社會網絡相結合，形成物與物、人與物、人與人之間范圍更大的全面感知的社會物聯網體系，可以高效地支持和構建新的普適多媒體服務業務。

社會物聯網作為一個新興的領域，相關研究仍處于發展階段，除相關技術問題外，如何利用相關模型和方法構建本研究所需的用戶群體、情境集合和多媒體資源集合之間的相互關系，在開放、動態和多變的普適環境中為用戶提供豐富多彩的服務是需要重點研究的問題。

3? 智能化普適多媒體服務集成框架的分析與設計

3.1? 需求分析

構建智能普適多媒體服務集成框架是一個龐大復雜的系統工程，從對功能需求的分析來看，需要實現的集成包括4個方面的內涵：

1）不同種類多媒體信息資源的集成。

2）學習機制和工作機制的集成。

3）內容管理和內容適配功能的集成。

4）不同種類多媒體業務的集成。

3.2? 設計方法和原則

1）為保證其可行性，框架設計從大處著眼，系統實施從小處著手。系統實施不必要也不可能一次實現一個包羅萬象的服務系統。首先展開用戶需求的調研工作，對于有較大需求的業務優先安排設計和實施，提供的服務類型從少到多、功能由簡到繁，逐步展開。

2）多媒體資源和服務的統一規范的語義描述是集成的基礎，為實現上下文數據和多媒體內容服務資源的共享和重用，提高系統的可擴展性，在多媒體資源管理層和業務應用服務層之間加入知識管理層，實現多媒體服務資源和具體業務應用的松耦合。

3）權衡各種優勢和劣勢，充分利用上述智能化支持技術，傳統的普適服務方法一般只能實現一些簡單和具體領域的小規模應用，智能化是規模化的必由之路。

4）充分考慮用戶體驗，將結構復雜、需要大規模運算能力、存儲能力的任務交由云服務器端，對于節省用戶開支，保證良好的用戶滿意度具有重要意義。

3.3? 集成框架的體系結構

集成框架是由互聯網、移動通訊網、GPS網絡等各種普適網絡所組成的復雜網絡體系。服務框架的4個層次和各個層次包含的主要服務器及其功能說明如下：

1）上下文數據管理層：通過各種渠道獲取和感知用戶的上下文數據，對其進行必要的處理。主要包括的服務器：實時通信服務器，用于連接知識管理層;上下文管理服務器負責上下文數據的獲取、規范描述和推理解釋任務。

2）多媒體資源管理層：主要承擔根據用戶偏好和網絡終端的限制對多媒體內容的獲取，形式、格式等進行必要的轉換和存儲等任務。主要包括的服務器：實時通信服務器，連接知識管理層;內容適配服務器負責管理用戶網絡和終端的參數信息，將用戶請求與網絡終端參數進行比較，做出內容轉換和處理任務的決策。內容管理服務器：負責獲取服務所需的多媒體資源，根據適配服務器的需求對多媒體資源進行處理和存儲任務。

3）知識管理層：對統一描述的用戶上下文數據和需求數據，分析其中蘊含的各種關系和規律，形成知識，存儲于普適多媒體服務知識庫中。主要包括的服務器：本體資源服務器負責提供不同層次和領域的本體資源，對各類異構大數據提供統一描述。大數據分析服務器主要負責挖掘用戶、情境和多媒體內容之間的關聯規則，存入知識庫;并以增量方式對知識庫進行更新。匹配服務器主要履行各類用戶、資源和情境的匹配任務，進行相似度計算和排序，做出是否推薦的決策。

4）業務應用服務層：利用知識管理層中知識庫中的規律知識，用于構建不同領域和各種方式的普適多媒體內容服務。主要包括的服務器：查詢分析服務器，接收和處理用戶請求。用戶管理服務器：負責用戶和內容提供商的注冊和管理工作。業務管理服務器，構建業務與內容資源的多對多關系，對不同的多媒體業務進行分類管理。

4? 總結

普適多媒體服務業務具有良好的發展潛力，智能化技術是其規模化應用的有效支撐。本文總結了普適多媒體服務的模式，將其服務過程分為系統學習、系統工作和內容適配三個階段。分析了目前已經廣泛展開研究的多媒體智能處理技術、大數據技術、深度學習技術等各種技術對于服務智能化的支持作用，并闡述了各種技術的優劣勢。最后提出了智能化普適多媒體服務的集成框架，設計了其體系結構和主要服務器的功能。

參考文獻

[1]張宇.個性化移動內容服務的模型和支持技術研究[D].武漢：華中科技大學，2010.

[2]白亮，郭金林，老松楊.基于深度認知神經網絡的跨媒體情報大數據智能處理技術[J]指揮與控制學報，2016，2（4）：345-349.

[3]彭宇新，綦金瑋，黃鑫.多媒體內容理解的研究現狀與展望[J].計算機研究與發展，2019，56（1）：183-208.

[4]李學龍，龔海剛.大數據系統綜述[J].中國科學（信息科學），2015，45（1）：1-44.

[5]彭欣.基于深度學習的數字圖書館跨媒體語義檢索方法研究[J].情報探索，2018（2）：16-19.

[6]王家慶.多媒體云計算中的資源管理研究[D].南京：南京郵電大學，2018.

[7]趙明慧.基于智能算法的社會物聯網可信服務適配研究[D].南京：南京郵電大學，2018.