中國新聞社圖片信息庫數字化網絡存儲技術發展

文｜肖方

中國新聞社作為國家級通訊社之一，承擔著對海外華人華僑和港澳臺同胞的宣傳任務。成立60年來，積累了大量珍貴的歷史資料，包括文字、圖片、音頻、視頻、電影資料等。中國新聞社攝影部是中新社的新聞圖片采編業務部門，保留了大量的圖片資料，而圖片信息的存儲是信息系統的重要方面，搭建共享的存儲架構，實現數據的統一存儲、管理和應用已成為媒體行業發展趨勢。作者在中新社從事計算機應用和網絡技術工作多年，在圖片信息庫數字化網絡存儲技術工作方面總結出一些經驗，在此對中新社的技術創新能力、計算機網絡技術發展、網絡存儲架構，大數據應對策略、安全存儲措施進行一些回顧和探討，供同行參考。

第一部分 基本概念

一、傳統存儲介質與電子存儲介質比較

使用傳統介質如紙和膠卷保存信息資料，檢索速度很慢，而使用計算機存儲數據信息，存取速度極快，存儲的數據量也很大。一般憑證文件應當用紙介質存儲，業務文件可用紙或磁帶存儲，主文件，如企業的企業結構、人事方面的檔案材料、設備或材料的庫存賬目應當存儲于磁盤，以便聯機檢索和查詢。

電子存儲介質是指存儲數據的載體。比如軟盤、DVD和CD光盤、HDD硬盤、閃存（快速閃存存儲器）。與傳統電腦內存不同，閃存的特點是非易失性（也就是所存儲的數據在主機掉電后不會丟失），其保存與刪除處理的速度較快。閃存被應用在計算機中的BIOS、PDA、數碼相機、錄音筆、手機、數字電視、游戲機等電子產品中。攝影記者使用的數碼相機常用CF卡和SD卡，這兩種存儲卡具有體小質輕、低能耗、高容量、數據傳輸速度快的特點。

二、計算機存儲單位

二進制序列用來表示計算機、電子信息數據容量的量綱，基本單位為字節B，計算機存儲單位一般用b,B,KB、MB、GB、TB、PB、EB、ZB、YB、BB來表示，位bit(比特)，存放一位二進制數，即 0 或1，是最小的存儲單位。字節 byte是8個二進制位為一個字節(B)，是最常用的單位。隨著計算機存儲數據不斷增加，存儲單位也在增加，計算機存儲容量單位如下排列：

bit（位），byte（字節）,KB（千字節）,MB（兆字節）,GB（吉字節）, TB（太字節）,PB（拍字節），EB（艾字節）, ZB（澤字節），YB（堯字節）,BB（波字節），在排列中每級為前一級的1024倍。表示容量越來越大。例如：1MB=1024KB，1GB=1024MB，1TB=1024GB。

第二部分 中新社圖片信息庫實現數字化網絡存儲發展歷程

一、1994年建立基于蘋果電腦的數字化圖片發稿系統

90年代，中新社攝影部作為總社的新聞圖片發稿業務部門，經歷了從使用滾筒式模擬信號傳真圖片，到使用底片掃描儀和平板式掃描儀進行電腦數字化處理、文件存儲和文件傳輸，實現了圖片信息數字化存儲。

1994年，攝影部進行圖片發稿技術改造，通過蘋果電腦進行彩色底片和黑白底片掃描處理，采用理光專用光盤存儲圖像信息，使用PC電腦和1.44M軟盤存儲傳真圖片和專題圖片文字信息。每天發圖片通稿5-10張，每月發10組專題圖片。一張彩色圖片原圖大小4.5MB左右，黑白圖片大小1.5MB，圖像經過Adobe Photoshop軟件壓縮處理后生成100KB左右大小的傳輸文件，通過北京--香港專線網絡，將圖像文件傳送到香港分社的蘋果電腦中，然后經香港分社傳送到海外媒體客戶電腦接收設備中，經挑選登載在海外和香港澳門報紙和雜志上。數字化圖片發稿技術使中新社能快速和準確將新聞稿件播發到海外和港澳地區。

二、1995年建立基于PC電腦的圖片信息存儲管理和檢索系統

1995年，攝影部使用基于DOS操作系統的PC電腦，建立了圖片信息管理和檢索數據庫，將每日發送的傳真圖片、專稿圖片和留資圖片說明入庫。為日后建立中新社圖片網打下了良好的基礎。攝影部工程師在同年3月“全國人大、政協兩會”期間，使用蘋果電腦首次制作了中國新聞彩色封面、封底和圖片內頁，送到兩會代表手里。由于擺脫了原來黑白文字版面單調的格局，新穎的彩色封面和圖片版面受到與會代表的好評。

三、1997年建立基于Windows界面的比利時多媒體數據庫

1997年，攝影部采用PC電腦，使用VisualC++語言和面向對象技術開發的數據庫開發工具，開發了基于Windows界面的比利時多媒體數據庫，內容包括新聞圖片、專題圖片及留資圖片全部文字信息，系統自動生成圖像文件的快照圖標（20K-30K）到數據庫中。圖文并茂的數據庫信息檢索畫面受到攝影部和技術部領導的好評。在全國人大、政協兩會和97’香港回歸期間，工程師們使用蘋果電腦制作了中國新聞彩色封面、封底和圖片內頁。保留下寶貴的歷史圖片資料。

四、1998年建立了基于10/100M網絡存儲的新聞圖片采編系統

1998年，中新社建成基于客戶端/服務器架構的新聞圖片采編網，服務器操作系統是Microsoft NT4.0 server，數據庫是使用Microsoft SQL Server，全社每天發圖片通稿10--20張，每月發10組專題圖片，還有資料圖片。攝影記者外地采訪采用尼康底片掃描儀掃描底片，使用PC筆記本和蘋果筆記本進行發稿。時政記者開始使用數碼相機拍攝新聞圖片，將圖片傳送到新聞采編系統中。值班主任通過PC電腦登錄到采編系統，對圖片說明進行編輯和校對，并簽發圖片，期間工程師們通過蘋果電腦處理圖像，包括圖像修改、剪裁、角度、亮度、反差、色彩和色調的調整。保證了圖片稿件產品的質量。

五、2001年建立了基于Internet互聯網數據存儲架構的中國新聞圖片網

2001年,中新社建立了基于Internet互聯網數據存儲架構的中國新聞圖片網，確立內網和外網數據庫架構、外網網站域名www.cnsphoto.com。在社長和總編輯的領導下，與中國新聞網合作，將圖片網服務器托管在中國電信機房。內網使用HP服務器，外網使用DELL服務器，采用磁盤冗余陣列存儲，服務器使用Microsoft Window server 2000操作系統，圖片采編和銷售數據庫采用Microsoft SQL server 2000。圖片信息數據庫全文檢索系統由北京拓爾思TRS公司開發。中新社除了每日發圖片通稿30-50張（同時發布到圖片網上），其余有價值的圖片也發布到網站，使用戶能更方便挑選下載及購買圖片，由此打開中新社圖片銷售市場，圖片網在為圖片客戶提供豐富的圖片資源同時，也收集網站用戶上傳的新聞圖片、專題圖片和資料圖片，圖片編輯有選擇地將新聞圖片上傳到中新社新聞圖片通稿采編系統中，由此豐富了中新社圖片產品的內容，實現了中新社通稿采、編、發業務和圖片網站業務的雙向交流，促進了中新社圖片信息庫網絡存儲技術發展。網站通過提供智能檢索提升圖片信息的使用價值，取得了經濟效益和社會效益。

《中國新聞圖片網》項目受到了中國新聞技術工作者聯合會領導的好評。幫助記者和簽約攝影師個人保存了大量有價值的資料，也成為中新社的寶貴資源。另外，攝影部將30萬張底片陸續掃描到電腦中，存入圖片信息庫，豐富了中新社的圖片資源。截至2013年7月31日，中新社圖片網共存儲圖片181萬張。

2002年6月該項目作為《中國新聞社新聞信息電子商務解決方案》獲得由中國新聞技術工作者聯合會頒發的《新聞科技創新》一等獎。

六、2003年建立了基于百兆網絡存儲的新聞采編平臺

2003年中新社建成了基于Internet 互聯網數據存儲架構的新聞采編平臺和圖文發布系統，建立了包括總社各部門、國內分社、國外分社的采集網絡，總社、香港分社、美國分社成為文字通稿和圖片通稿簽稿中心。采編服務器是基于Windows Server 2000的DELL服務器，數據庫采用SQL Server 2000，數據存儲方式采用磁盤陣列。

至此，技術創新給中新社圖片發稿業務帶來質的飛躍，在全國兩會及2008奧運會報道中發稿量劇增。平時，中新社每天發圖片通稿50-100張（同時發布到圖片網上），還包括只發網站圖片，專題圖片和資料圖片。彩色圖片發稿原圖9MB-18MB，圖片壓縮后傳輸文件大小是300KB--800KB，通過圖文發布系統播發到海外、香港、澳門媒體客戶機上，為當地報紙提供圖片內容。另外，中新社新聞圖片采編系統和中新社圖片網站進行合理的銜接，自動將每天發的新聞圖片傳送到圖片網內網和外網上，以多種方式服務于客戶。

七、2012年建立了基于千兆光纖網絡存儲的多媒體采編平臺

計算機、服務器、存儲器快速發展，對電子化數據機房的要求更高。分級存儲管理(HSM)技術，就是系統根據數據的重要性、訪問頻次等指標分別存儲在不同性能的存儲設備上，采取不同的存儲方式，實時監控數據的使用頻率，并且自動地把長期閑置的數據塊遷移到低性能的磁盤上，把活躍的數據塊放在高性能的磁盤上。

2012年，中新社建立了基于高端SAN存儲架構的多媒體采編平臺，SAN的支撐技術是光纖通道(FC Fiber Channel)技術。存儲系統具有硬件冗余設計，消除單點故障，能夠對應用系統提供不間斷的數據訪問服務；對應用系統存儲的數據具有RAID保護、鏈路冗余等多種技術手段，確保數據的可靠性和完整性。存儲系統主體是一臺磁盤陣列設備，以交叉冗余方式接在存儲區域SAN交換機上。前端需要連接SAN的服務器上配有雙口HBA卡，分別通過光纖連接兩臺SAN交換機。部署一套物理磁帶庫產品，通過備份服務器部署的備份軟件控制進行自動數據備份。備份內容包括數據庫服務器中的數據庫數據以及各應用服務器的業務數據。

圖片稿庫采用TB級磁盤陣列存儲，使用DELL服務器進行管理和檢索。數據庫采用Oracle。中新社每天發圖片通稿100-200張，發圖片網站200-500張（包括通稿），圖片發稿原圖30—50MB，由記者個人保存。圖片壓縮后傳輸文件大小為2MB，通過建立圖片信息發布系統，借助Internet互聯網和網絡鏈路加密手段為國內國際用戶進行推送和發布服務，建立中心站點（北京）為大陸圖片用戶服務，建立亞太、美國圖片鏡像站點為所在區域用戶服務，并自動發布到中國新聞圖片網（專業圖片網站，可供大圖）和中國新聞網（門戶網站，只供小圖）。圖片網站服務器仍托管在在中國電信機房，通過兩套相同數據庫存儲方式，使用大容量硬盤存儲圖片資料數據。存儲容量仍是TB級存儲。攝影記者的數碼相機使用高速GB級CF卡和SD卡，移動硬盤是1TB和2TB硬盤。主力記者使用蘋果筆記本，內裝500GB SSD固態硬盤，通過無線上網卡，進行新聞圖片的快速采集、處理、存儲和傳輸。另外，攝影記者還使用聯想ThinkPad筆記本電腦發稿。智能手機也成為記者現場抓拍新聞圖片的工具，通過微信平臺傳輸新聞圖片和其他重要信息。圖片值班編輯使用DELL電腦和蘋果電腦對新聞采編系統中的新聞圖像進行編輯、處理、存儲、簽發。使中新社的圖片稿件通過多種銷售平臺傳播到客戶中。

第三部分 大數據存儲技術發展趨勢和應對策略

一、數字化移動平臺的研究迫在眉睫

數字化、創新型、多媒體網絡平臺存儲是未來發展趨勢，發展移動平臺和電子化閱讀是中新社等媒體應該考慮的問題，通過高科技手段提高多媒體信息傳播速度是媒體的立足之本。

二、實現自動恢復和自動管理

未來的存儲器不僅具有更高的容量、速度和性能價格比，而且還將具有自動恢復和自動管理功能，同時具有高度的開放性和互操作性。

三、按需分配數據物理存儲以實現管理智能化

SSD固態硬盤和HDD機械硬盤共同使用將是發展趨勢，內存和固態硬盤速度快但成本高，用于存放頻繁讀寫的數據信息，而機械硬盤存取速度慢但成本低，適合存放不常讀寫的數據。按需分配數據存儲才是通訊社要采取的方法。

四、云計算理論和云平臺服務

云計算是分布處理、并行處理和網格計算幾種技術發展后進行綜合的結果，引入了虛擬化等最新技術。云計算主要提供的服務分為IaaS（Infrastructure as a Service基礎架構服務）、PaaS（Platform as a Service平臺服務）、SaaS（Software as a Service軟件服務）。

IaaS服務提供商通過提供虛擬機、服務器、存儲空間、網絡帶寬和安全防護，實現共享CPU資源池、內存資源池、網絡資源池和存儲資源池，并提供資源需求的彈性伸縮，如亞馬遜數據中心即Amazon EC2（Elastic Computer Cloud）。

PaaS云平臺服務通過提供數據庫、開發工具、Web服務器和軟件運行環境，實現分布式存儲和分布式計算技術對海量數據的分析處理，以提高IT服務水平和資源的利用率。互聯網比較著名的PaaS包括Google App Engine和Microsoft Azure。

SaaS云應用服務針對軟件的最終用戶，而不是軟件開發人員。SaaS服務提供商為客戶提供OA系統、電子郵件、虛擬桌面、在線游戲服務等，用戶經過認證和授權可以在各種設備上通過客戶端界面訪問――通常是Web瀏覽器。

五、采用快速查詢存儲信息技術以便提高效率

面對云計算和海量數據，如何分析和挖掘內在價值是急需考慮的問題。

Hadoop是Apache開源組織的一個分布式計算開源框架，在很多大型網站上都已經得到了應用，如亞馬遜、Facebook和Yahoo等等。

Hadoop框架中最核心的設計就是：MapReduce編程模式和HDFS。MapReduce就是“任務的分解與結果的匯總”。HDFS是Hadoop分布式文件系統（Hadoop Distributed File System）的縮寫，為分布式計算存儲提供了底層支持。

在分布式系統中，機器集群就可以看作硬件資源池，將并行的任務拆分，然后交由每一個空閑機器資源去處理，能夠極大地提高計算效率，同時這種資源無關性，對于計算集群的擴展無疑提供了最好的設計保證。

HDFS設計特點：

1、一個Block會有三份備份。

2、心跳檢測DataNode的健康狀況。

3、balancer命令，來平衡每一個DataNode磁盤利用率。

4、數據校驗：采用CRC32作數據校驗。

5、NameNode是單點：如果失敗的話，任務處理信息將會紀錄在本地文件系統和遠端的文件系統中。

Hadoop用于分布式運算的優點:

1、可擴展：不論是存儲的可擴展還是計算的可擴展都是Hadoop的設計根本。

2、經濟：框架可以運行在任何普通的PC上。

3、可靠：分布式文件系統的備份恢復機制以及MapReduce的任務監控保證了分布式處理的可靠性。

4、高效：分布式文件系統的高效數據交互實現以及MapReduce結合Local Data處理的模式，為高效處理海量的信息作了基礎準備。

六、建立綠色節能數據中心

信息爆炸時代已經到來，未來幾年全球數據存儲容量將達到ZB級，施耐德電氣IT事業部中國區副總裁/數據中心業務總經理曲穎在《2013通信行業數據中心和大數據峰會》演講中提到：水和空氣的單位是澤。地球上的水總量≈1.4Zg，地球上的空氣質量≈0.7ZL，2020年全球數據量將突破40ZB，是2012年的12倍，2020年中國數據量將突破8ZB，是2012年的23倍[4]。

中新社未來將通過合理規劃內部機房供電和制冷系統，建立綠色節能的數據中心，提高電源使用效率，將PUE值控制在1.5以下，加快社內寬帶網絡建設，圖片網站進一步與電信服務商合作，提高數據上傳和下載的傳輸速率。建立專業的存儲技術研究和技術服務團隊，迎接大數據存儲時代的到來。

第四部分 中新社圖片信息電子化安全存儲措施

圖片信息庫是中新社業務發展的關鍵數據，要求中新社在數據信息安全存儲方面采取如下措施：

一、內部數據機房防火防盜

1、保證存儲數據機房24小時低溫，將溫度和濕度控制在安全范圍。保障存儲設備安全可靠。

2、檢查配電箱、UPS不間斷電源、空調設備是否正常。管理好機房空調、機柜、線路設備、服務器和存儲設備。

3、注意防火和防盜，建立預警機制和巡查機制。

二、保證移動硬盤、SSD固態硬盤、CF和SD卡、DVD和CD光盤安全存儲

1、避免移動硬盤磕碰，掉地。

2、CF卡耗能低，速度快，接口針腳容易彎曲，進行插拔時要小心。

3、保證電子存儲介質的存放環境恒溫恒濕，注意防火和防盜。

三、做好計算機網絡應急處理工作

為保證服務器、電腦和存儲設備數據安全，設備管理人員要增加風險防范意識，在電腦上安裝360安全衛士和殺毒軟件，在服務器管理方面完善用戶訪問機制，嚴格授權，監控打開端口，阻止關鍵數據被竊取，安裝防火墻，防病毒軟件，監控路由器，防止復雜攻擊，如欺騙、分布式拒絕服務攻擊DDoS和惡意軟件攻擊。網站要做好安全防護工作，避免網站被篡改，或被植入后門，防止網站信息被黑客竊取。

結束語

當前，隨著互聯網及電子商務的應用發展，存儲在企業網絡中的數據就成為企業最珍貴的資產，存儲已不再是附屬于服務器的輔助備份設備，日益走向企業信息系統的核心。信息的有效存儲保護，備份和災難恢復已成為企業構建IT基礎設施迫切需要考慮的重要環節。數據保護系統的建設是一個循序漸進的過程，在進行了本地備份系統建設之后，有必要建立一套可靠的遠程容災系統。當災難發生后，通過備份的數據完整、快速、簡捷、可靠地恢復原有系統。未來10年，中國新聞社技術團隊通過與云計算服務商合作，有信心有能力迎接大數據的到來，通過7X24小時安全防護，保證服務器、存儲設備和網絡設備安全運行，保證全球新聞發稿業務的連續性，爭取建設一個綠色節能和智慧化的數據中心。