以全媒體思維建設中國科技媒體集團的大數據技術平臺

文｜史曉波

為了打造中國科技網的核心競爭力，科技日報社提出要建設全媒體網站內容管理系統，以實現文字、圖片、音視頻的統一管理和服務，強化對外的網站服務模式，并建設豐富的互動體驗功能，同時建設集團化的公共稿庫，實現大媒體集團內部各子報、子刊、版面資源以及移動終端媒體APP的統一管理和共享，從而高效實現從供稿入庫到對外授權服務、交流互動，全力提高中國科技網網站服務的影響力。

主要建設內容

服務科技領域，建立統一信息門戶

中國科技網在現有技術平臺的基礎之上，將進一步建設集成的統一信息服務門戶，為廣大科技愛好者、廣大科研人員、科技精英以及政府、科技界相關人員提供統一的信息門戶和一站式服務平臺：提供最新科技要聞、科技熱點專題、科技前沿技術、相關科技服務咨詢；為科技專家與廣大科技工作者提供交流互動、個性化服務、全方位獲取科技資源與發布科技信息的平臺。基于互聯網、WAP、RSS、移動終端等多種快捷的發布渠道發布各種信息，使之成為業界全方位獲取與傳播信息的最佳最快捷的友好平臺。

科技行業垂直智能搜索平臺

基于統一信息服務門戶，構建科技行業垂直智能搜索平臺，實現對所有中文科技網站的門戶的垂直搜索。為廣大用戶提供最全面，最權威的科技行業信息搜索，提供更好的用戶體驗，能夠實現相關性檢索、檢索結果分類、聚類、智能關聯展示等信息智能化處理功能。通過構建具有集群架構的統一的智能搜索平臺，滿足大數據量和高并發量的需求。

建設科技全媒體資源庫(大數據中心)

基于網絡時代公眾對科技新聞信息的快速獲取需求，充分運用現代信息技術，增強對互聯網海量信息進行采集和監測工作，通過權威專家和新穎靈活的網絡專題，對熱點科技話題及時策劃、深入解讀、破除流言和誤解，增進公眾對國家科技進步成就、重大科技工程、國內外科技前沿及其他熱點科學話題的了解認知。提高分析互聯網輿情問題的能力，為科技管理部門及時了解社情民意、引領輿論導向、進行科學決策、維護社會穩定提供重要支持。

建設以大數據為核心的科技信息分析平臺（比如對全國中小學生感興趣的讀物進行分析），通過大數據采集、挖掘、模型建立，實現科技大數據的深度分析，如對報社記者采訪的事件，選用了哪些稿件進行見報分析，對讀者閱讀習慣進行數據跟蹤采集，以便為科技部領導和科技日報領導提供輔助決策支持，同時及時調整符合讀者需求的報道內容。

建立知識中心，實現資源共享機制

提供以科技知識傳播為中心，統一科技知識資源管理，搭建專家和網民的橋梁，建設知識展現，知識學習，知識推進為核心的科技知識管理服務平臺，實現積累知識資產，共享知識資源，創新知識應用，復制知識能力的目標，充分利用專家資源，鼓勵科技愛好者積極參與，使各行業科技知識得到更好的推廣和普及。

應用網絡虛擬技術，開展網絡科技會展

充分運用3D虛擬會展技術，開設720°全景會展。包括國家科技活動周、國內外科普博覽會、大型科技活動等豐富數字資源的網絡科普會展中心，打造出“永不落幕的網絡科技會展”。

關鍵技術分析

應用集群技術

◎ 主流Java應用服務器（如：IBM WebSphere Application Server、BEA WebLogic Server、Tomcat等）都提供了集群實現。但對于某些大并發的互動應用來說無法直接采用應用服務器本身提供的集群功能，而需要根據應用特點自身在應用層實現集群，基于以上考慮，我們對應用層進行集群設計：采取基于組播的對象同步策略實現應用高可用性，支持3－4個應用服務器節點建立應用集群。所有服務器對等配置，給每臺服務器配置唯一的權值。在啟動時設置一臺為主服務器，其他為從服務器。主、從服務器的權值約定和協商策略說明如下（以3個節點為例）：

隨著數字化技術、通信技術和計算機技術的不斷發展，極大地推動了媒體行業的信息化進程，同時也對傳統的新聞傳播業造成了前所未有的沖擊。由于技術的發展，使傳統諸媒體行業之間，媒體業與電信通信業之間的邊界由清晰走向模糊。媒體行業由傳統的以單一文字報道為主向集文字、圖片和音視頻為一體的全媒體轉型，3G、4G時代更是將傳媒引入跨媒介、跨文化、跨產業融合的全球傳播新格局。

◎ 權值定為1、2、3，1為最高權值，3為最低權值，其中權值為1表示該服務器為主服務器；

◎ 新服務啟動后首先通過組播的心跳通道檢查當前存在的服務器節點，獲得當前不被占用的最高權值。如集群組內沒有其他服務器節點，則新服務啟動后獲得權值為1，成為主服務器節點；如集群組內只有主服務器節點，則新服務啟動后獲得權值為2，為從節點；如集群組內存在權值為1和3的兩臺服務器，則新服務啟動后獲得權值為2；

◎ 如果當前主服務器節點出現故障退出集群，則所有從節點的權值都升一級：如主服務器節點出現故障退出集群，則權值為2的從服務器節點權值變為1，成為新的主服務器節點，依此類推；

◎ 如果當前從服務器節點出現故障退出集群，則所有比此從服務器節點權值低的從服務器節點的權值都升一級：如權值為2的從服務器節點出現故障退出集群，則權值為3的從服務器節點權值變為2。

主/從服務器都是緩存讀取的對象，不緩存數據庫寫入操作。每臺服務器獨立配置了高效的分布式緩存組件負責緩存對象的管理與同步。對于尚未緩沖（包括尚未加載過或者被更新命令刪除后尚未加載）的對象，服務器直接通過Cache Loader從數據庫自主加載；對于已經緩沖的對象則直接返回緩存對象。當服務器更新緩存對象時，同步發送更新緩存命令給其他服務器；其他服務器一旦接收到更新緩存命令，立即從緩存中刪除該對象，直到再次請求時重新加載。

服務器間通過組播的方式傳遞數據與命令，服務器啟動后會自動與其他服務器建立事務、數據、心跳三條傳輸通道。事務傳輸通道采取同步方式分發關鍵命令；通過快速數據傳輸通道異步分發內存對象等小實體；通過慢速數據傳輸通道異步分發文件等大對象。心跳檢測通道負責探測服務器之間的活動情況，在服務器出現異常時，自主協商新的主服務器。對于異步的傳輸通道，集群自己維護認為隊列，當隊列滿后，會采取一定的策略調整隊列，保持關鍵信息完整。

為了保持分布式緩存對象的一致，緩存管理器定時刷新對象，并通過數據傳輸通道同步數據到從服務器，此項任務只由主服務器執行（如圖所示）。

組播技術

組播技術被認為是互聯網技術推廣之后出現的最激動人心的網絡技術之一。組播是一種允許一個或多個發送者發送單一的數據包到多個接收者的網絡技術。組播源把數據包發送到特定組播組，而只有屬于該組播組的地址才能接收到數據包。組播可以大大的節省網絡帶寬，因為無論有多少個目標地址，在整個網絡的任何一條鏈路上只傳送單一的數據包。

組播技術是IP網絡數據傳輸三種方式之一。IP網絡數據傳輸包括單播、組播和廣播方式。

采用組播技術實現集群服務器間的數據同步具有如下特點：

◎ 效率增強：控制網絡流量，降低服務器和CPU的負擔；

◎ 分布式應用：使多點應用可行；

◎ 性能更優化：消除流量冗余。

AJAX技術

Ajax是由幾種蓬勃發展的技術以新的強大方式組合而成，包括：

◎ 基于XHTML和CSS標準的表示；

◎ 使用Document Object Model進行動態顯示和交互；

◎ 使用XMLHttpRequest與服務器進行異步通信；

◎ 使用JavaScript綁定一切。

Ajax的核心是JavaScript對象XmlHttpRequest。該對象在Internet Explorer 5中首次引入，它是一種支持異步請求的技術。簡而言之，XmlHttpRequest使用戶可以使用JavaScript向服務器提出請求并處理響應，而不阻塞用戶。

Ajax相當于在用戶和服務器之間加了—個中間層，使用戶操作與服務器響應異步化。并不是所有的用戶請求都提交給服務器，像—些數據驗證和數據處理等都交給Ajax引擎自己來做，只有確定需要從服務器讀取新數據時再由Ajax引擎代為向服務器提交請求。

使用AJAX能夠給用戶和應用帶來如下好處：

☆ 減輕服務器的負擔。

因為Ajax的根本理念是“按需取數據”，所以最大可能在減少了冗余請求和影響對服務器造成的負擔。頁面不讀取無用的冗余數據，而是在用戶操作過程中的某項交互需要某部分數據時才會向服務器發送請求。

☆ 減少用戶實際和心理等待時間。

首先，“按需取數據”的模式減少了數據的實際讀取量，打個很形象的比方，如果說重載的方式是從一個終點回到原點再到另一個終點的話，那么Ajax就是以一個終點為基點到達另一個終點；

其次，即使要讀取比較大的數據，也不用像RELOAD一樣出現白屏的情況，由于Ajax是用XMLHTTP發送請求得到服務端應答數據，在不重新載入整個頁面的情況下用Javascript操作DOM最終更新頁面的，所以在讀取數據的過程中，用戶所面對的也不是白屏，而是原來的頁面狀態（或者可以加一個 LOADING的提示框讓用戶了解數據讀取的狀態），只有當接收到全部數據后才更新相應部分的內容，而這種更新也是瞬間的，用戶幾乎感覺不到。

安全策略

每一種新的Web技術都不可避免的遭遇安全問題，Ajax也不例外。Ajax即時數據反饋的特點實現了良好的用戶交互，使得IT工程師們通過基于Web的應用程序來改變用戶訪問和交互公共數據的方式。

但是Ajax技術同時也對組織內部應用帶來了新的安全威脅，Ajax技術就如同對數據建立了一個直接通道。這使得開發者在不經意間會暴露比以前更多的數據和服務器邏輯。

Ajax的邏輯可以對客戶端的安全掃描技術隱藏起來，允許黑客從遠端服務器上建立新的攻擊。還有Ajax也難以避免一些已知的安全弱點，諸如跨站點腳步攻擊、SQL注入攻擊和基于credentials的安全漏洞等。

為了發現Ajax應用所帶來的安全威脅，并給出解決辦法，我們可以分析Web應用程序開發生命周期的不同階段和不同方面，進而選擇特定的安全工具來幫助我們提高基于Ajax的應用的安全性。通過使用這些工具，項目和產品開發者可以顯著的減少Ajax安全缺陷，并使得任何安全漏洞盡在掌握之中。

同時，在應用建設中，我們重點考慮了如下設計問題：

◎ 集中力量合理減少和簡化AJAX調用，創建一個標準的響應格式。

◎ 遵循應用安全設計規范和相應標準。這里面特別包含了訪問控制和輸入校驗漏洞檢查，同時確保敏感信息使用SSL勝過使用普通文本。

◎ 永遠不要假設服務器端AJAX對于訪問控制或者用戶輸入校驗檢查能夠代替在服務器上的最終再檢查。

向外擴展(Scale-Out)滿足不斷增加的存儲需要

系統擴展性是必須要考慮的問題，隨著業務量逐步擴大；實現系統擴展有兩種方式：Scale-Up和Scale-Out。所謂Scale-Up，簡單的說就是在同一臺機器內增加CPU、內存等硬件來增加系統的處理能力，一般不需要修改應用程序；而Scale-Out就是向外擴展，即通過增加運行服務器的數量來提高系統整體的能力，應用程序的軟件架構需要與之配合，隨著系統規模的不斷增加，應用程序可能還需要進行相應的修改。

Scale-Up受軟硬件體系的限制，因為不可能無限增加CPU和內存，相反Scale-Out卻是可以“幾乎”無限的擴展。因此，雖然Scale-Out會隨著服務器數量的增多而帶來管理、部署和維護的成本上升，但它是全球圖片庫這類更合適的選擇。

技術難點和創新點

★ 滿足Web3.0時代的全媒體傳播的要求

基于目前現有的Web3.0的相關技術，應用Mashup技術實現企業內部各應用之間的微內容（Widget）的自由整合與有效聚合，實現組織內部用戶創造信息的整合共享與深度利用，使得內容信息的特征更加明顯，便于檢索。將精確地闡明信息內容特征的標簽進行整合，提高信息描述的精確度，從而便于用戶的搜索與整理。通過創新性的利用TAG/ONTO/RSS基礎聚合設施并融合漸進式語義網，為Web3.0構建完備的內容聚合與應用聚合平臺。將傳統意義的聚合技術和挖掘技術結合，創造出更加個性化、搜索反應迅速、準確的“業務應用服務”以滿足業務發展的要求，其思想精髓是集中群體智慧、激活人員動力、展示員工才能、促進知識共享，滿足企業業務的高度敏捷性（Agile）、很強適應性（Adaptable）和充分協作性（Aligned）。

★ 適合多種終端平臺，實現信息服務的普適性

我們的技術平臺建設將探索實現信息資源在不同終端的兼容和普適，滿足從PC互聯網到WAP手機，PDA，機頂盒，專用終端，不只應用在互聯網這一單一終端上，使得各種終端的用戶群體都可以享受到在互聯網上沖浪的便捷。實現融合網絡的普適化、公用顯示裝置與個人智能終端的通用，同時加入E-RAD的應用與研發，使得嵌入式技術在Web3.0模式下發揮更大的效力。同時，系統設計時考慮良好的人性化用戶體驗、以及基礎性的個性化配置，在UGC篩選性的過濾的基礎上同時引入偏好信息處理與個性化引擎技術，對用戶的行為特征進行分析，形成可信度高的UGC發布源，同時對內部用戶的資源獲取習慣進行整理、挖掘，得出最佳的設計方案，幫助用戶快速、準確地搜索到自己想要感興趣的信息內容，實現業務的“隨需應變”。

★ 海量數據的智能化檢索服務

全媒體網絡綜合平臺整合、管理著海量的各種格式的信息資源，而且系統服務受眾廣，數據量大、訪問用戶多是系統的重要特點之一，如何滿足大數據量和高并發量的智能化的檢索需求，是系統建設的技術關鍵、難點之一，采用先進、成熟的全文檢索技術結合文本智能處理技術構建具有集群架構、具有良好擴展能力、滿足大數據量和高并發檢索請求的統一智能搜索平臺，則是平臺建設的重要技術創新點。

★ 全系統的流程整合與業務協同

全媒體綜合平臺建設涵蓋十幾個業務應用及支撐平臺，實現這些業務應用平臺間的統一身份管理、統一身份認證、業務流程互通、業務應用集成、業務辦公協同存在著建設難點，如不能實現各業務應用平臺間的流程整合與業務協同，則會在大平臺上形成了新的信息孤島，為此，采用靈活的具有良好擴展性的門戶應用集成框架、統一的工作流引擎與統一身份認證技術，實現大平臺上各系統間的全面業務流程互通，打造協同的工作環境，可科學的創新業務工作模式并有效的提升工作效率。

★ 智能數據映射和挖掘，實現統一數據訪問

為了實現統一數據訪問服務，需要借助各種智能映射技術、智能挖掘技術實現數據的組織構建，為不同應用提供統一的數據服務，為不同的需求提供推薦的數據資源。

智能數據映射和挖掘涉及多種分析和語義智能處理，如基于文檔“指紋”的文本查重技術和跨語言的相似檢索技術，基于規則和基于統計的多種分類引擎，基于大規模語料和層疊隱馬爾可夫模型的實體識別方法，基于向量機算法的話題跟蹤技術等。

★ 多元化、精準營銷服務模式創新

當前的報業媒體除銷售報紙、期刊外，雖然也同時具有網絡服務功能，并對信息進行簡單打包和推送服務，但遠遠不能達到精準服務要求。

互聯網營銷與傳統營銷相比，其在靈活性、信息快捷性、針對性方面具有先天的優勢，因此在多元化、精準營銷服務模式上進行創新，如按行業、按用戶、按其關注的熱點、訂購的內容，推送最新文字、圖片、音視頻等多媒體內容，包括結合IP網、移動設備、智能客戶端進行終端交互。

綜上關鍵技術路線，中國科技網正努力將網站的新聞性、公益性和商業性融合用以打造中國科技第一門戶網站群, 打造面向全產業鏈的中國科技服務平臺,建成中國科技資源聚合中心,科技行業公共數據交換中心,全形態數字科技產品發布中心,和重要的科技與商務交易平臺,科技行業決策支持平臺,多元化與個性化的科技互動社區,在此基礎上研究確立科技傳媒行業規范,形成中國科技行業最大的知識庫，為創建國家級數字科技基地打下良好的平臺。