怎樣跨歷史數(shù)據(jù)和實(shí)時數(shù)據(jù)進(jìn)行實(shí)時分析

Nikita Ivanov

5個內(nèi)存計算平臺功能，支持對數(shù)據(jù)湖數(shù)據(jù)和操作流的分析處理。

當(dāng)今的分析需求給現(xiàn)有數(shù)據(jù)基礎(chǔ)設(shè)施帶來了前所未有的壓力。能否跨操作和存儲數(shù)據(jù)執(zhí)行實(shí)時分析對業(yè)務(wù)成功來說非常重要，但實(shí)現(xiàn)起來總是充滿挑戰(zhàn)。

有一家航空公司，他們希望收集并分析其噴氣發(fā)動機(jī)的連續(xù)數(shù)據(jù)流，以實(shí)現(xiàn)預(yù)測性維護(hù)，更快地解決問題。每臺發(fā)動機(jī)都有數(shù)百個傳感器，用于監(jiān)測溫度、速度和振動等參數(shù)，并將這些信息不斷地發(fā)送到物聯(lián)網(wǎng)（IoT）平臺。物聯(lián)網(wǎng)平臺接收、處理和分析數(shù)據(jù)后，將其存儲在數(shù)據(jù)湖（也稱為操作數(shù)據(jù)存儲）中，只有最新的數(shù)據(jù)保留在操作數(shù)據(jù)庫中。

現(xiàn)在，只要實(shí)時數(shù)據(jù)中的異常讀數(shù)觸發(fā)某一引擎的警報，航空公司就需要對該引擎的實(shí)時操作數(shù)據(jù)和存儲的歷史數(shù)據(jù)同時進(jìn)行實(shí)時分析。然而，航空公司可能會發(fā)現(xiàn)，利用其現(xiàn)有基礎(chǔ)設(shè)施不可能進(jìn)行實(shí)時分析。

如今，開發(fā)大數(shù)據(jù)計劃的企業(yè)通常使用Hadoop將其操作數(shù)據(jù)的副本存儲在數(shù)據(jù)湖中，數(shù)據(jù)科學(xué)家可以訪問其中的數(shù)據(jù)，進(jìn)行各種分析。當(dāng)實(shí)際應(yīng)用需要對輸入的操作數(shù)據(jù)以及存儲在數(shù)據(jù)湖中的數(shù)據(jù)子集進(jìn)行實(shí)時分析時，傳統(tǒng)的基礎(chǔ)設(shè)施就成了絆腳石。訪問存儲在數(shù)據(jù)湖中的數(shù)據(jù)時存在固有的延遲，跨數(shù)據(jù)湖和操作數(shù)據(jù)運(yùn)行聯(lián)合查詢也會遇到挑戰(zhàn)。

內(nèi)存計算解決方案具有實(shí)時性能、極強(qiáng)的可擴(kuò)展性，并且能與流行的數(shù)據(jù)平臺進(jìn)行內(nèi)置集成，從而解決了跨數(shù)據(jù)湖和操作數(shù)據(jù)進(jìn)行實(shí)時分析的難題。這些功能使混合業(yè)務(wù)/分析處理（HTAP）功能能夠跨數(shù)據(jù)湖和操作數(shù)據(jù)集進(jìn)行實(shí)時聯(lián)合查詢。

內(nèi)存計算平臺功能

內(nèi)存計算平臺支持對操作數(shù)據(jù)的接收、處理和分析，對于以下部分或者全部項(xiàng)目還支持實(shí)時性能和PB級擴(kuò)展：

·內(nèi)存數(shù)據(jù)網(wǎng)格和內(nèi)存數(shù)據(jù)庫。內(nèi)存數(shù)據(jù)網(wǎng)格和內(nèi)存數(shù)據(jù)庫匯集了服務(wù)器集群的可用內(nèi)存和計算能力，允許在內(nèi)存中處理數(shù)據(jù)，并消除了在處理前等待從磁盤檢索數(shù)據(jù)的延時。內(nèi)存中的數(shù)據(jù)網(wǎng)格部署在現(xiàn)有數(shù)據(jù)庫之上，并保持與底層數(shù)據(jù)庫的同步，而內(nèi)存中的數(shù)據(jù)庫則在內(nèi)存中維持完整的數(shù)據(jù)集，周期性地將數(shù)據(jù)寫入硬盤，僅用于備份和恢復(fù)目的。內(nèi)存中的數(shù)據(jù)網(wǎng)格和內(nèi)存中的數(shù)據(jù)庫可以部署在本地、公有云或者私有云中，也可以部署在混合環(huán)境中。

·流數(shù)據(jù)處理。內(nèi)存計算平臺可以從流行的流媒體平臺（例如，Apache Kafka）實(shí)時獲取、處理和分析大批量的數(shù)據(jù)流。

·機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。結(jié)合了機(jī)器學(xué)習(xí)庫的內(nèi)存計算平臺支持使用操作數(shù)據(jù)對機(jī)器學(xué)習(xí)模型進(jìn)行實(shí)時訓(xùn)練。內(nèi)存計算平臺可與TensorFlow等深度學(xué)習(xí)平臺進(jìn)行本機(jī)集成，能夠顯著降低準(zhǔn)備數(shù)據(jù)并將數(shù)據(jù)傳輸?shù)竭@些深度學(xué)習(xí)訓(xùn)練平臺的成本和復(fù)雜性。

·聯(lián)合查詢。一些內(nèi)存計算平臺利用與流行的流數(shù)據(jù)平臺（包括Apache Kafka和Apache Spark）的內(nèi)置集成特性，實(shí)現(xiàn)跨數(shù)據(jù)湖和操作數(shù)據(jù)集的聯(lián)合查詢。Apache Kafka用于構(gòu)建實(shí)時數(shù)據(jù)流水線和流式應(yīng)用程序，為輸入數(shù)據(jù)的實(shí)時處理提供數(shù)據(jù)。Apache Sark是一個統(tǒng)一的分析引擎，可以執(zhí)行大規(guī)模的數(shù)據(jù)處理，包括跨Hadoop數(shù)據(jù)湖和操作數(shù)據(jù)庫，對數(shù)據(jù)進(jìn)行聯(lián)合查詢。

·混合業(yè)務(wù)/分析處理（HTAP）或者混合操作/分析處理（HOAP）。采用HTAP、HOAP或者業(yè)務(wù)分析，企業(yè)能夠維護(hù)一個單一的數(shù)據(jù)集，在該數(shù)據(jù)集上他們可以同時執(zhí)行業(yè)務(wù)和分析處理，從而消除了把數(shù)據(jù)從專用業(yè)務(wù)數(shù)據(jù)庫移動到獨(dú)立的專用分析數(shù)據(jù)庫所需的昂貴而又緩慢的提取、轉(zhuǎn)換和加載（ETL）過程。

從Apache Kafka到Apache Spark再到實(shí)時深度分析

本例中的航空公司采用與Kafka、Spark和Hadoop集成后的內(nèi)存計算平臺，能夠針對某一引擎，同時對其實(shí)時操作數(shù)據(jù)和歷史數(shù)據(jù)運(yùn)行實(shí)時分析。Apache Kafka向內(nèi)存計算平臺提供實(shí)時流數(shù)據(jù)。內(nèi)存計算平臺在內(nèi)存中維護(hù)操作和溫度數(shù)據(jù)，并跨數(shù)據(jù)集運(yùn)行實(shí)時查詢。Spark從數(shù)據(jù)湖中檢索歷史數(shù)據(jù)，從內(nèi)存計算平臺中檢索溫度操作數(shù)據(jù)，通過跨數(shù)據(jù)孤島運(yùn)行查詢來實(shí)現(xiàn)更深入的深度分析。有了這種架構(gòu)后，航空公司就能夠即時深度分析產(chǎn)生異常讀數(shù)的原因。

現(xiàn)代數(shù)據(jù)基礎(chǔ)架構(gòu)最受歡迎的一些優(yōu)點(diǎn)包括：預(yù)測性維護(hù)和更快地解決問題，從而讓客戶更加滿意，提高資產(chǎn)利用率，獲得更高的投資回報率……等等。使用內(nèi)存計算平臺對操作數(shù)據(jù)和數(shù)據(jù)湖數(shù)據(jù)子集運(yùn)行實(shí)時分析，可以使這些以及其他新的實(shí)時物聯(lián)網(wǎng)服務(wù)成為現(xiàn)實(shí)。

Nikita Ivanov是GridGain系統(tǒng)公司的聯(lián)合創(chuàng)始人和首席技術(shù)官，負(fù)責(zé)領(lǐng)導(dǎo)開發(fā)先進(jìn)和分布式內(nèi)存數(shù)據(jù)處理技術(shù)。他在軟件應(yīng)用程序開發(fā)、構(gòu)建HPC和中間件平臺方面有20多年的經(jīng)驗(yàn)，并為Adaptec，Visa和BEA系統(tǒng)等公司的工作做出了貢獻(xiàn)。

原文網(wǎng)址

https：//www.infoworld.com/article/3430787/how-to-perform-real-time-analytics-across-live-and-historical-data.html