矢量大數據高性能計算模型及關鍵技術

羅釗航 車宇

摘要

目前，我國已正式進入信息時代，人們的工作和生活方式在大數據技術的影響下有了較大改變。本文首先圍繞數據活化理論展開分析，然后研究了矢量數據多態存儲模型，最后提出了相關的關鍵技術，旨在加快大數據檢索與處理效率和質量。

【關鍵詞】矢量大數據 高性能計算模型 大數據檢索

所謂大數據，具體是指在有限時間里，處理數據集合時使用新興形式代替一般軟件，這樣能得到更有觀察捕捉力、決定能力以及改善流程能力的大量多元化信息資產。大數據其具備多樣、海量、真實、低價值密度以及快速這五個特征，但通過有效的大數據高性能計算模型能夠極大地發揮數據的價值。

1 數據活化理論

數據活化可為數據增添生命活力，是指一種新興的數據監管和運用形式，主要是為完成海量數據集高靈活度的繁雜索引剖析。其基礎數據構成單元以數據儲存能力和運算能力為主，呈現物理層內不同數據間的互相關聯和互相影響，面對運算環境時可主動進化，從而提升大數據運算速率。

活化，具體表現為賦予細胞生命的智能行為：

（1）自發認知所在環境，例如查找剖析任務、資源現狀與其余活化細胞等數據信息;

（2）在信息認知基礎上推測與體會運算環境形勢與運算要求;

（3）溝通促進各個細胞間的信息傳遞;

（4）根據運算環境的改變更新信息;基于這些智能行為，完成數據有效儲存，按需運算。

數據活化理論以細胞為概念，以類似細胞的高性能計算模型對數據進行感知與處理，在大數據環境下的高性能計算重要模型。

2 矢量數據多態儲存模型分析

為處理異構、多元的矢量數據，對象模型與矢量數據感知模型站在不同角度對其進行論述，也就是多種形態與狀態問題。但就數據儲存而言，Geo tuple（矢量地理元組）依然成多態狀態，在上層通常展現在軟件方面的多態儲存方式，在下層展現在硬件方面的多態儲存載體。

在儲存方式上，空間數據集由代表空間或時間的、基礎屬性的、初始數據實例的矢量地理元組構成，所以相應儲存方式也有所差別。比如：基礎屬性數據的矢量地理元組用NoSQL數據庫表示，分布式文件系統則是初始信息的代表。

矢量地理元組主要有提下特征：首先，擁有數據儲存能力，矢量數據目標模型界定為延伸Key-Value，以此儲存矢量數據。其次，內存儲存。數據被活化之后，有針對性的將其放在不通過物理節點內。最后，擁有運算能力，在高性能運算環境中，完成地理元組的各種轉變，和活化細胞的汲取、硝化、溝通、演變等行為相似。

3 矢量大數據高性能計算模型關鍵技術探究

3.1 關于分布式內存運算的并行二路空間街接算法

這是計算模型中利用率極高的一種算法，由艾伯哈特和肯尼迪等人提出。其優勢主要體現在銜接速率快、自組織能力強等。然而由于此種算法是一種以隨機方式算出通過迭代的形式來確定目標的形式。雖然其在挑選參數、收斂效率等方面占據較大優勢，但卻非常易于被局部的查找最優解所限制，導致其全方位檢索水平較低。所以，此算法被劃分成預休眠、休眠、活躍三種狀態，通過這三種狀態間的互相轉變，能良好的落實調度對策，最大化的搜索檢測范圍，以此增加基于矢量大數據高性能計算模型的生命周期。這一算法能高效確保數據在檢索模塊完成信息搜索，進而為提高模型的穩定性，杜絕死角或是搜索信息冗余等不良狀況出現在計算模型中。

從此算法的實質來講，其是對數據檢索與處置模式展開同步的檢索與處置形式，檢索經過模式檢索后得到的信息必須要等同于檢索前的初始模式。縱然能有效減少信息檢索冗余問題，而且可以避免不必要的檢索目標能量損耗，從而提升其使用率。但此算法把每一差別化的數據，都視為相應維度檢索范疇中的一個數據，同時在此范疇中通過相應速度完成檢索，這便導致在解決一些優化問題過程中，發生過早收斂狀況。因此，此算法在諸多方面依然有待改善。

3.2 關于分布式內存運算的并行多路空間銜接算法

此算法利用并行多路的空間銜接形式，所以在大量大數據環境中，較上一算法更具優勢。但就能量損耗方面而言，此算法表現卻更加嚴重，怎樣減少能量損耗，進而將矢量大數據高性能運算模型的生命周期大大增加，成為現階段急需處理的首要問題。通常來講，這一算法鑒于全部數據信息范疇中有幾率發生能量損耗的平均性，根據數據所在位置實施的一種拓撲控制形式，進而按照數據對象的認知半徑，把目標范疇區分成若干個相同大小的網格，并開啟數據檢索模塊讓其迅速進入休眠狀態，確保所有網格內簇頭信息具有靈活性和活躍性。

處于檢索環境時，此算法會采用一個數據頂替某一數據完成頂替的形式，進而獲得所需數據位置，包括剩下的數據位置，以此完成鄰近網格中的數據信息，或是全部網格中的數據信息數據檢索與處置的形式。在此狀況下，網格中的任何數據同時一種等價狀態，在明確等價數據后，可提升單簇搜索范圍與單跳的搜索范圍，從不同角度來看，高效杜絕了某些簇頭信息因為頻頻參加到信息的頂替流程中而損耗能量狀況的發生。毫不夸張的說，這是現階段此算法解決大量損耗能量問題，增加模型壽命的最佳途徑。

3.3 并行多路空間街接算法改進型

雖然分布式內存運算的并行多路空間銜接算法理論上能夠解決矢量大數據的分析問題，但結果往往由于數據量的增大，數據的可用性大打折扣。因而改進并行多路空間銜接算法的分析結果，引入搜索引擎的關鍵字相關排序技術，從而提高其結果的可用性。

4 結論

綜上所述，矢量大數據環境下，對高性能運算模型和其主要技術展開分析和探究，能改善大量數據搜集、處置、傳遞以及儲存的形式及辦法，在檢索與處置環節能高效的確保數據的有效性和時效性，減少數據缺失或者溢出等問題。所以，相關人員必須要充分了解各種算法，在實踐中有針對性的選用關鍵技術，以此確保所需數據的質量。

參考文獻

[1]李國杰，程學旗.大數據研究：未來科技及經濟社會發展的重大戰略領域一大數據的研究現狀與科學思考機[J].中國科學院院刊，2015，27（06）：647-657.

[2]李建中，李英妹.大數據計算的復雜性理論與算法研究進展[J].中國科學：信息科學，2016，46（09）：1255-1275.

[3]施巍松，孫輝，曹杰.邊緣計算：萬物互聯時代新型計算模型[J].計算機研究與發展，2017，54（05）：907-924.