基于大數(shù)據(jù)背景下的圖形處理技術(shù)變革探索

趙 銳

基于大數(shù)據(jù)背景下的圖形處理技術(shù)變革探索

趙 銳

（西安郵電大學(xué)，西安，710121）

隨著信息技術(shù)的不斷發(fā)展，云計算及物聯(lián)網(wǎng)技術(shù)出現(xiàn)之后，又出現(xiàn)了一種新的技術(shù)變革，即大數(shù)據(jù)。大數(shù)據(jù)給計算機(jī)網(wǎng)絡(luò)相關(guān)的很多領(lǐng)域帶來了不同層次的影響，圖形處理技術(shù)就是其一，本文以大數(shù)據(jù)背景為基礎(chǔ)，對這一背景下圖形處理技術(shù)的變革進(jìn)行了深入的探索。

大數(shù)據(jù)；Hadoop；圖形處理技術(shù)；3DS TDI

1 大數(shù)據(jù)

1.1 大數(shù)據(jù)及特點(diǎn)

大數(shù)據(jù)是計算機(jī)網(wǎng)絡(luò)領(lǐng)域，繼云計算和物聯(lián)網(wǎng)之后的一次新的技術(shù)創(chuàng)新與革命，給眾多相關(guān)領(lǐng)域帶來了極其重要的影響。從其字面意思來看，就不難發(fā)現(xiàn)，它的最大特點(diǎn)就是巨大的數(shù)據(jù)量，通常認(rèn)為其數(shù)據(jù)量大約在10TB-1PB以上（其中1TB=1024GB，1PB=1024TB）。

本文通過調(diào)查研究，將大數(shù)據(jù)的特點(diǎn)總結(jié)為以下3點(diǎn)，即：數(shù)據(jù)量大、快速化和多樣化。其中，數(shù)據(jù)量大就是指在大數(shù)據(jù)背景下，需要處理的計算機(jī)信息數(shù)據(jù)量非常大，甚至發(fā)展到ZB數(shù)量級（1ZB=1024EB,1EB=1024PB）；快速化就是指在大數(shù)據(jù)背景下，需要對實(shí)時的、高速的數(shù)據(jù)流進(jìn)行快速處理；多樣化就是指在大數(shù)據(jù)背景下，數(shù)據(jù)的類型非常多，數(shù)據(jù)主要有圖片、文本、網(wǎng)頁、音頻、視頻等很多形式，這些都將增大計算機(jī)信息處理的能力。本文認(rèn)識到大數(shù)據(jù)對圖形處理技術(shù)的重要性，對大數(shù)據(jù)背景下的圖形處理技術(shù)變革進(jìn)行了較為深入的探討。

1.2 大數(shù)據(jù)處理的核心技術(shù)

大數(shù)據(jù)處理的核心技術(shù)就是Hadoop，大數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)之間是存在著差異的，它的數(shù)量級很可能達(dá)到PB，甚至是ZB，同時還包括了文本等非結(jié)構(gòu)化數(shù)據(jù)，這就直接導(dǎo)致諸如傳統(tǒng)的服務(wù)器和SAN方法難以對大數(shù)據(jù)進(jìn)行有效存儲，而Hadoop是目前比較流行，效果比較好的一種大數(shù)據(jù)處理技術(shù)。

Hadoop是一個基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架，其組件主要包括：通用模塊、分布式文件系統(tǒng)（HDFS）、Hadoop YARN、Hadoop MapReduce、Zoo Keeper、Oozie、HBase、Hive、Pig等。其具體的組件框架圖，如圖1所示：

圖1 Hadoop架構(gòu)組成

在圖1的Hadoop框架中，最底層的HDFS存儲Hadoop集群中全部存儲節(jié)點(diǎn)上的文件，在一組特定的節(jié)點(diǎn)下才可以構(gòu)建出HDFS架構(gòu)（圖2），在這些節(jié)點(diǎn)當(dāng)中，有一個是NameNote，其他還有很多是DateNote，在HDFS中進(jìn)行存儲的文件會被分成不同的塊，再將他們復(fù)制到計算機(jī)中，由客戶機(jī)來決定復(fù)制的塊的數(shù)量和大小。HDFS中的全部通信都是以TCP/IP協(xié)議為基礎(chǔ)的，通過NameNote，可以對其全部文件進(jìn)行控制。

圖2 HDFS架構(gòu)節(jié)點(diǎn)

Hadoop MapReduce是一種簡潔的并行計算模型，它在系統(tǒng)層面解決了容錯性、擴(kuò)展性等問題，可以實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)的的處理與分析。

在Hadoop的應(yīng)用實(shí)例中，JobTracker指的是一個代表客戶機(jī)在單個主系統(tǒng)上啟動MapReduce應(yīng)用程序，它與NameNote十分相似，是Hadoop集群中唯一一個控制MapReduce應(yīng)用程序的系統(tǒng)。

2 計算機(jī)圖形處理技術(shù)

計算機(jī)圖形圖像處理技術(shù)最主要的組成部分就是計算機(jī)的硬件設(shè)備與圖形圖像處理軟件。一般情況下，計算機(jī)的硬件設(shè)備的性能越高，處理圖形的效果越好，圖形圖像處理軟件的作用主要是將計算機(jī)與顯示終端之間建立聯(lián)系。

計算機(jī)的硬件基本上包含兩類：一是微型機(jī)，二是工作站。軟件同樣包含兩類：一是微型機(jī)上的軟件，主要有photoshop、Win—Images：morph以及3DS等。photoshop主要是用來處理二維圖像，同時它還可以進(jìn)行分色制版，3DS在微型機(jī)上專門用來制作圖形,是當(dāng)今社會中應(yīng)用的不較多的圖形處理軟件。二是工作站的軟件，主要有Alias和TDI，它們主要是用來制作工作站上的全部圖形。

從功能上來看，工作站要比微型機(jī)好一些，究其主要原因是工作站CPU的速度更快，能夠較好地進(jìn)行圖形顯示，并且具有較大的存儲容量；從造型上來看，3DS缺少了曲線曲面造型功能，而TDI則彌補(bǔ)了它的這一缺陷；從用戶界面來看，運(yùn)用3DS，需要先在一個模型上進(jìn)行材質(zhì)的調(diào)整，一般情況下是不能看到材質(zhì)在物體上的效果的，而運(yùn)用TDI，其IPR模塊可以對物體及光源材質(zhì)進(jìn)行自動調(diào)整，直接獲取圖像，同時可以實(shí)現(xiàn)較好的效果。

3 大數(shù)據(jù)背景下的圖形處理技術(shù)變革探索

3.1 大數(shù)據(jù)背景下圖形處理技術(shù)的挑戰(zhàn)

大數(shù)據(jù)時代的到來給圖像處理技術(shù)帶來了發(fā)展機(jī)遇的同時，也為其帶來了挑戰(zhàn)。

首先，巨大的數(shù)據(jù)量給數(shù)據(jù)存儲、傳輸速度等方面帶來了挑戰(zhàn)。隨著數(shù)據(jù)量的增加，存儲空間也需要相應(yīng)的進(jìn)行調(diào)整，同時存儲技術(shù)也要不斷的提高，大數(shù)據(jù)背景下的傳輸時間也會加長，其傳輸速度也要相應(yīng)的有所改善。

其次，大數(shù)據(jù)背景下的數(shù)據(jù)流十分多，在網(wǎng)絡(luò)中會存在著黑客等破壞用戶數(shù)據(jù)的現(xiàn)象，因此要加強(qiáng)網(wǎng)絡(luò)及圖形處理與存儲的安全性，避免不法分子對重要數(shù)據(jù)進(jìn)行盜取。

再者，大數(shù)據(jù)背景下，為計算機(jī)硬件設(shè)備及數(shù)據(jù)處理能力帶來挑戰(zhàn)。大數(shù)據(jù)背景下，計算機(jī)硬件設(shè)備決定了網(wǎng)絡(luò)的傳輸速度，而且對巨大的數(shù)據(jù)量的處理能力也同樣是一種挑戰(zhàn)。

最后，大量的數(shù)據(jù)流對有價值的數(shù)據(jù)進(jìn)行篩選和提取的能力提出了新的挑戰(zhàn)。在如此巨大的數(shù)據(jù)信息中，提取有價值的信息并不是一件容易實(shí)現(xiàn)的事情，因此，又對圖形處理技術(shù)提出了更高的要求。

3.2 大數(shù)據(jù)背景下圖形處理技術(shù)及其發(fā)展方向

首先，是信息存儲。信息存儲就是通過一定的方式將獲得的信息在結(jié)構(gòu)數(shù)據(jù)庫中進(jìn)行存儲，當(dāng)用戶需要某些數(shù)據(jù)時，能夠直接對其進(jìn)行提取，在大數(shù)據(jù)的背景下，存在數(shù)據(jù)量大、信息變更速度快等特點(diǎn)，因此需要對圖形圖像進(jìn)行合理的存儲，實(shí)現(xiàn)圖像處理技術(shù)對大量數(shù)據(jù)的長時間、穩(wěn)定存儲。

其次，信息安全。為了能夠更好的使用大數(shù)據(jù)背景下出現(xiàn)的信息安全隱患，在圖形處理技術(shù)方面，需要做到以下幾點(diǎn)：一是構(gòu)建信息安全體系，二是加快研發(fā)大數(shù)據(jù)信息安全技術(shù)產(chǎn)品，在大數(shù)據(jù)背景下，傳統(tǒng)的信息安全軟件已經(jīng)無法實(shí)現(xiàn)其數(shù)據(jù)安全，所以，我們要加緊步伐對于新的數(shù)據(jù)安全技術(shù)產(chǎn)品的研發(fā)；三是對重要數(shù)據(jù)進(jìn)行深度檢測。因?yàn)榇髷?shù)據(jù)背景下的數(shù)據(jù)量是巨大的，對每個數(shù)據(jù)都進(jìn)行檢測是浪費(fèi)時間和精力的，也是基本上無法實(shí)現(xiàn)的，所以，我們強(qiáng)調(diào)對于重要數(shù)據(jù)的深度檢測。

最后，是數(shù)據(jù)的擷取與傳輸。任何信息處理手段都是需要進(jìn)行數(shù)據(jù)擷取的，數(shù)據(jù)擷取就是在對目標(biāo)信息源實(shí)時監(jiān)控的基礎(chǔ)上，在數(shù)據(jù)庫中存儲所需數(shù)據(jù)，從而實(shí)現(xiàn)向各個軟件系統(tǒng)平臺提供信息輸入，最后，利用數(shù)據(jù)傳輸技術(shù)，將處理好的數(shù)據(jù)傳輸?shù)礁饔脩簟?/p>

3.3 圖形處理技術(shù)的發(fā)展方向

因?yàn)槭艿接嬎銠C(jī)硬件的限制，圖形處理技術(shù)還存在著一些局限，大數(shù)據(jù)背景下圖像處理技術(shù)的發(fā)展，需要將目前的計算機(jī)網(wǎng)絡(luò)轉(zhuǎn)換為云計算機(jī)網(wǎng)絡(luò)。未來的計算機(jī)網(wǎng)絡(luò)將會把硬件與網(wǎng)絡(luò)數(shù)據(jù)分開，從而實(shí)現(xiàn)將當(dāng)前的云計算轉(zhuǎn)換為云計算網(wǎng)絡(luò)，計算機(jī)會與信息網(wǎng)絡(luò)形成大數(shù)據(jù)網(wǎng)絡(luò)系統(tǒng)。

4 結(jié)論

綜上所述，本文通過對大數(shù)據(jù)及其核心處理技術(shù)的分析的基礎(chǔ)上，研究了圖形處理技術(shù)，并對其在大數(shù)據(jù)背景下面臨的挑戰(zhàn)及其發(fā)展前景作出了分析，希望能為大數(shù)據(jù)背景下的圖形處理技術(shù)變革提供借鑒。

[1]馮騫. 大數(shù)據(jù)時代的信息處理技術(shù)[J]. 信息通信.2013（08）

[2]吳金朋.一種大數(shù)據(jù)存儲模型的研究與應(yīng)用[J].北京郵電大學(xué).2012(12)

[3]王珊.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學(xué)報.2011(09)

Explore technological change based on graphics processing large data under the background

Zhao Rui
(Xi'an University of Post and Telecommunications,Xi'an，710121)

With the development of information technology,after the emergence of cloud computing and physical networking technology,and the emergence of a new technological revolution,that big data.Big data related to many areas of computer networks has brought different levels of influence,is one of the graphics processing technology,the paper background with large data base,against this background of change graphics processing technology conducted in-depth exploration.

big data;Hadoop;graphics processing technology;3DS TDI

趙銳（1979-），男，漢族，陜西寶雞人，碩士，工程師，研究方向：高等教育管理、課程論與教學(xué)論