云計算下多源異構大數據算法研究

張志強

摘要：在互聯網技術迅速普及的大潮下，信息數據呈指數增長趨勢，如何對這些異構數據進行高效處理和調度，成為當今大數據處理的一個研究熱點，針對這一熱點，該文提出云計算下多源異構大數據的優化算法，首先通過閾值對比預取大數據源，接著進行數據調度優先級計算，最后按優先權值確定調度順序，選擇合理處理器執行。通過本算法與傳統大數據調度方法對比實驗，證明本算法具有更高的加速比和吞吐量的優點。

關鍵詞：云計算;異構數據;數據源

中圖分類號：TP391? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）15-0025-03

1 引言

在互聯網技術迅速普及的大潮下，信息數據呈指數增長趨勢，龐大的數據由于來源不一、分布不一，其數據結構具有多樣性、多源性、異構性、復制性的特點[1]。如何對這些異構數據進行高效處理和調度，成為當今大數據處理的一個研究熱點，其中對大數據跨源調度算法的研究更是廣大相關學者廣泛關注的一個課題。

現今，大數據多源異構體結構一般包括三種形式：DBMS異構形式、SELECT異構形式以及FROM 異構形式[2]。目前國內相關研究重點是圍繞這三種形式關于如何解決大數據多源異構合理調度和有效對接方面 [3]。如夏明等雖然提出對全部變量進行更新處理，將所有待調度多源異構子流的質量以權重的方式重新組合排列，然后從排列出來的多源異構子流群里優先選擇高質量的子流來作為傳輸的數據，通過反復操作后，最終把所有的調度的多源異構子全部處理完畢[4]，但對各類多源異構數據差異性研究不足，不能解決大量復雜多源異構數據的有效調度問題;劉運提出結合采集和融合手段，先構建統一的數據模型標準，然后再按照數據分類構造各個分類體系，包括數據結構、運營機制、約束方法等，最后把縱向多源異構數據和橫向多源異構數據相互融合在一起，以解決其一致性的問題[5]，但此算法開銷太大，對系統的負荷過重，算法運行速度過慢;岳婧文等將渲染應用特點以及作業調度算法相結合，將任務劃分為不同的子任務，引入Min-min 以及Max-min 思想構建時間負載均衡模型[6]，該方法雖然解決了開銷問題，但適用范圍十分有限，對于并行度高的大數據調度很難達到理想的效果。本文針對云計算下的復雜多源異構大數據，提出首先通過沖突檢測預取異構數據，然后利用標準方差值計算數據調度優先級，最后依據優先權值確定調度順序，選擇合理處理器執行。實驗證明本文算法與傳統調度算法在相同的硬件環境下，具有更高的平均加速比，調度時間更短的優點。當丟包率不斷增高時，本算法還能保持十分理想的吞吐量，從而證明本文算法相比其他算法具備更高的調度能力。

2 云計算下多源異構大數據的跨源調度算法

2.1 云計算下的多源異構大數據預取

由于多源異構大數據源的數據體煩瑣、凌亂，所以需要先進行前期的歸一整理，即預取操作，通過預取算法，縮短數據源開始的計算時間，減少系統運行成本[7]。由于多源異構大數據具備數據源差異的特征，可以認為每個數據源來自不同的任務。使用[Map]來表示數據源的任務，通過完成的[Map]任務數與[Map]任務總數的比率來計算[Map]比率，然后設置一個預定的閾值。當比率達到預定閾值時，實現多源異構大數據源的預取操作，如式（1）所示。

[Ratemap=MapNumsfinishedMapNumstotal]? ? ? ? ? ? ? ? ? ? ? ?（1）

在式（1）中，[MapNumsfinished]表示完成的映射任務數;[MapNumstotal]表示所有映射總任務數。在整個預取算法運行過程中，很容易會出現多個節點同一時間從相同的輸出結果中預取數據，形成競爭狀態，從而降低預取的效率。為解決上述問題，可以通過加入沖突判斷算法來提供數據預取的效率。當另一個任務在該任務預取數據的節點中預取數據時，將丟棄該數據，并預取其他節點上所需的數據。如果在某個時間段內，系統占用了所有的節點，那么，算法就會錯開一個時間，再進行讀取，算法如下：

[WaitingTime=rateTIME]? ? ? ? ? ? ? ? ? （2）

[rate=DatafinishedDatatotal]? ? ? ? ? ? ? ? ? ? ? ? （3）

在式（2）和式（3）中，數據[Datafinished]用于描述已預取的數據，[Datatotal]用于描述全部需要預取的數據;[TIME]為時間常量，主要作用是代表在多源異構的環境里傳輸所有數據所需的時間;[WaitingTime]代表的是等待的時間，該時間與預取異構數據的速度成正比關系。如果預取數據的速度不斷增加，那么[WaitingTime]的值也就越大。

2.2 多源異構大數據跨源調度算法

2.2.1 數據調度優先級計算

上述算法在計算異構數據調度優先級的過程時，會把出口節點作為出發點向上迭代來得到每個節點的優先權值[rankj]，然后實現異構數據調度的排序方式，因此，節點[rankj]的計算公式如式（4）。

[rankjQi=maxωi×δi+Z（Qi）O（QI）+rankj（QJ）rankjQexit=ωexit×δexit]? ? ? ?（4）

式（4）中，[δi]代表對變量[Qi]進行計算所需要系統開銷的標準方差;[O（Qi）]代表變量[Qi]所有后繼節點的數目;[Z（Qi）]代表算法的總系統開銷。從式（4）可以看出，[δi]能比較有效地反映同一數據在不同處理器中的差異值，當差異值增大時，[δi]的值也會提高，這時系統的調度效果越好。如果把[δi]與節點的平均值相乘，并將所得結果作為計算權重，可以確保算法在一定系統開銷上的公平性。如果把總系統開銷[Z（Qi）]除以傳出量，那么，得到的商可以作為系統的通信開銷權重。上述算法與傳統通信權重算法相比，更能確保數據計算差異和通信開銷之間的平衡關系，從而提高在多源異構環境中跨源數據調度的穩定性。C1FF0C1A-5727-4603-A204-CC5DB6166ACC

2.2.2 分配處理器算法

為節省系統開銷，需要在處理器的分配方法上進行優化，本文算法是以優先級權重來作為處理器分配和執行順序的原則[8]。第一步，選擇入口數據，入口數據指的是在異構數據調度過程中首先要處理的第一個數據，即當所有處理器為空時，通過入口數據選擇處理器，以進一步提高調度效率，而不會造成處理器過載。具體步驟如下：

（1） 選擇輸入數據[γj]數據處理開銷最小的處理器;

（2） 對于其余處理器[γi]，如果錄入數據有直接后繼節點分配處理器，則根據以下公式判斷。如果滿足以下公式所示的條件，則完成[γi]復制處理器輸入數據;否則，直接在[γi]處理器中處理。

[WQentry，i

其中，[W]用于描述總計算開銷，[H]用于描述總權重。

當滿足以下的某一個條件時，系統就會結束上面的循環，否則繼續循環執行：

（1）每個處理器分配數據處理，即所有處理器[γi]的條目副本選擇已完成。

（2）所有數據都經過處理。選擇條目副本后，后繼節點用于調度仍然沒有分配處理器的數據。上述方法與傳統的處理器分配方法相比，由于兼顧到直接后繼節點完成的速度對調度結果數據的影響，從而提高了通信速度和縮短了數據傳輸的時間。其中，后繼節點完成時間的計算公式為：

[τQi，γk=maxminω（Qi，γk）+Hi，j]? ? ? ? ? ?（6）

在數據中，[Qi]和直接后繼節點在同一處理器上處理，[Hi，j]值為0，對于出口節點，[τ（Qi，γk）]為0。在調度過程中，[τ（Qi，γk）]在處理器上的值最小。

3 實驗結果分析

3.1 實驗環境

為了驗證基于云計算的多源異構大數據跨源調度方法的實用價值，設計了以下對比實驗。以兩臺配備VMwareace核心處理器的計算機為實驗對象，其中一臺配備傳統大數據調度方法作為控制組，另一臺配備新的大數據調度方法作為實驗組。在保持其他影響因素不變的前提下，采用控制變量法記錄實驗組和控制組應用調度方法后底層網絡流量整合時間和數據完整性的變化。

3.2 測試加速比

加速比作為數據調度性能的關鍵指標，主要是用來判斷調度算法的運行效率，加速比的計算公式如下：

[Sp=TpT1]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （7）

在等式（7）中，[Tp]用于描述P測試程序在處理器系統里并行處理的時間;[T1]表示單個CUP上，測試程序的平均運行時間。

參與本次實驗的有傳統的遺傳算法、當今流行的社會力量群算法和本文算法，為了讓分析結果更科學，系統采用了CPU8核+1個GPU核、CPU8核+2個GPU核、CPU8核+GPU4核這三種硬件環境下，測試三種算法的加速比，測試結果如圖1所示。

根據圖1的分析，當系統的硬件環境為CPU8核+GPU1核時，加速比結果顯示，本文算法比遺傳算法高出35%，比社會力量群算法高出18%;當系統的硬件環境為CPU8核+GPU2核時，加速比結果顯示，本文算法比遺傳算法高出33%，比社會力量群算法高出25%;當系統的硬件環境為CPU8核+ GPU4核時，加速比結果顯示，本文算法比遺傳算法高出16%，比社會力量群算法高出40%。

從比較結果可以看出，在三種硬件環境下，傳統蟻群算法和社會力群算法的加速比都不高，其原因主要是由于這兩種算法在運行時難以對處理器性能做有效的預測[9]。遺傳算法的執行率無法與GPU的真實執行率同步，因此降低了處理器的實際利用率;而社會力量群算法由于沒有優化調度性能，使得在大多數時間下，CPU是在等待狀態，因此也降低了處理器的實際利用率。在實驗過程中，加大GPU的數量時，本文算法、遺傳算法和社會力群算法的平均加速度如表1所示。

從表1結果可知，當加大GPU的核數時，平均加速比結果顯示，本文算法從原來的39%提高為97%，提高了1.3倍;遺傳算法從原來的23.8%提高為62.3%，提高了1.6倍;社會力量群算法從原來的30%提高為88%，提高了1.9倍。通過比較分析，本文的算法由于能很好地提高CPU的利用率，因此平均加速比的提高值最高。

下面在比較三種算法在不斷加大GPU的環境下平均執行時間的對比，用[T]表示應用程序執行的總時間，用[Ta]表示應用程序的調度時間，那么，[Ta÷T]就表示了調度時間占時比，稱為“時間比例”。硬件環境跟測試平均加速比的硬件環境一樣，分別為CPU8核+GPU1核、CPU8核+GPU2核、CPU8核+GPU4核。采用BFS等級調度來測試，測試結果如表2所示。

從表2的測試結果分析，在同一個硬件環境中，本文算法的時間比例都比另外兩個算法低。當加大GPU核數時，時間比例分析結果表明，本文算法從原來的22.3%降低為13.8%，遺傳算法從原來的57%降低為41.5%，社會力量群算法從原來的40.9%降低為21.5%。通過比較分析，本文的算法由于能充分利用GPU的資源，所以執行調度的時間比另外兩種算法都短。C1FF0C1A-5727-4603-A204-CC5DB6166ACC

3.3 吞吐量測試

本節通過吞吐量測試該算法的調度性能。對于Lud應用，隨著測試時間的增長，當丟包率上升時，本文算法和另外兩種算法的吞吐量測試結果如圖2所示。

從圖2測試結果分析，隨著測試時間的增長，當丟包率上升時，三種算法的吞吐量都有所降低，但總體來說，本文算法的吞吐量一直保持在1500以上的吞吐量，明顯高于另外兩種算法，說明本文算法相比另外兩種算法具備更高的調度性能。

4 結論

隨著現代制造業往工業4.0的演進，企業在運營和生產的過程中所產生的海量多源異構數據急需進行調度處理，以保證企業正常運營。對多源異構數據進行有效處理和深度挖掘，可以為制造商提供更有效的生產調度、設備管理等策略，從而提高生產質量和效率[6]。本文針對云計算環境下的多源異構大數據，提出了一種新的跨源調度算法。實驗測試分析結果說明本文算法較傳統的遺傳算法和社會力量群算法具備更高的加速比和吞吐量，具有更好的數據調度性能。

參考文獻：

[1] 李漢鵬，王陽，鄭君旋，等.多源異構檢測大數據采集與存儲方法研究[J].電子質量，2021（9）：53-55.

[2] 屈春一.非均質性海量復雜異構數據的混合云存儲技術[J].單片機與嵌入式系統應用，2021，21（8）：26-30.

[3] 李帥，郭妍彤，周文迪.基于Neo4j的數據空間多源異構數據集成管理研究[J].現代計算機，2021（12）：36-42.

[4] 夏明，劉川杰，王奇.面向公共安全的多源異構數據結構化提取關鍵技術研究[J].數字通信世界，2021（5）：3-4，30.

[5] 劉運.基于循環神經網絡的多源異構大數據融合模型構建[J].內蒙古民族大學學報（自然科學版），2021，36（3）：204-210.

[6] 岳婧文，李曉霞，秦少林.互聯網信息監督管理大數據平臺多源異構數據融合及應用技術分析[J].長江信息通信，2021，34（9）：119-122.

[7] 萬磊，陳洪勝，王曉婷，等.面向電力大數據的多源異構數據融合技術研究[J].電子技術與軟件工程，2021（2）：172-173.

[8] 肖楠.基于DTS的多模態異構大數據檢測方法研究[J].電子設計工程，2021，29（20）：143-146，151.

[9] 李躍鵬，溫亮明，黎建輝.基于查詢語言轉換的多源數據統一訪問框架[J].計算機系統應用，2021，30（9）：53-61.

【通聯編輯：代影】C1FF0C1A-5727-4603-A204-CC5DB6166ACC