Kettle在高校大數(shù)據(jù)處理中的應(yīng)用與研究

摘要：隨著大數(shù)據(jù)技術(shù)的日益成熟，數(shù)據(jù)處理技術(shù)已經(jīng)成為信息科學(xué)領(lǐng)域的重點(diǎn)研究方向。在高等學(xué)校教育領(lǐng)域中，各類教學(xué)、科研、管理、服務(wù)等活動(dòng)產(chǎn)生了大量的數(shù)據(jù)，這些大規(guī)模數(shù)據(jù)已成為高校教育的重要數(shù)據(jù)資產(chǎn)。如何有效地處理和整合這些數(shù)據(jù)，為高校師生提供服務(wù)和為管理者提供決策，是目前各高校在數(shù)據(jù)治理過程中需要解決的問題。Kettle作為一款開源的ETL工具，被廣泛應(yīng)用于數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載等任務(wù)中，用來實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的整合，在高校大數(shù)據(jù)處理中具有非常重要的應(yīng)用價(jià)值。本文先對(duì)Kettle作簡單闡述，并通過具體的案例分析展現(xiàn)其實(shí)用性，從而在技術(shù)層面解決高校智慧校園建設(shè)過程中產(chǎn)生的數(shù)據(jù)孤島問題，實(shí)現(xiàn)數(shù)據(jù)互聯(lián)互通。

關(guān)鍵詞：Kettle；ETL工具；高校大數(shù)據(jù)處理；數(shù)據(jù)集成；數(shù)據(jù)交換

引言

教育信息化作為國家信息化的重要組成部分，各高校在《教育信息化2.0行動(dòng)計(jì)劃》[1]的指導(dǎo)下，都在加快推進(jìn)信息化建設(shè)，進(jìn)行教育數(shù)字化轉(zhuǎn)型。然而，高校在數(shù)字化校園建設(shè)初期，由于缺乏統(tǒng)一規(guī)劃，各業(yè)務(wù)信息系統(tǒng)之間采用不同的數(shù)據(jù)庫和不同的數(shù)據(jù)標(biāo)準(zhǔn)，造成數(shù)據(jù)無法實(shí)現(xiàn)共享，形成數(shù)據(jù)孤島。為解決異構(gòu)數(shù)據(jù)源問題，使各業(yè)務(wù)系統(tǒng)之間實(shí)現(xiàn)數(shù)據(jù)共享，需要對(duì)各種數(shù)據(jù)進(jìn)行整合處理和數(shù)據(jù)交換，以達(dá)到數(shù)據(jù)治理的目的。本文以廣州工商學(xué)院數(shù)據(jù)交換平臺(tái)作為Kettle的應(yīng)用案例進(jìn)行研究，通過分析kettle的架構(gòu)和核心技術(shù)，探索其在高校應(yīng)用場(chǎng)景的實(shí)際效果，解決智慧校園建設(shè)過程中存在的數(shù)據(jù)孤島問題。

1. Kettle技術(shù)介紹

1.1 Kettle技術(shù)概況

ETL（Extract-Transform-Load）作為經(jīng)典的數(shù)據(jù)集成技術(shù)[2]，用于描述將數(shù)據(jù)從來源經(jīng)過抽取、轉(zhuǎn)換、加載到目的端的過程，在大數(shù)據(jù)處理中發(fā)揮著重要作用。Kettle作為一種ETL工具USiDNBWo0XRfL7iCnW3LqpvfF/rbNstL46h4nelusuE=，由于其開源的特性，一經(jīng)問世就迅速吸引眾多開發(fā)者的關(guān)注，并在開源社區(qū)的共同努力下不斷完善，已經(jīng)從簡單的ETL工具發(fā)展成為一個(gè)全面的數(shù)據(jù)處理平臺(tái)。目前Kettle仍在現(xiàn)代大數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)處理中不斷演進(jìn)和優(yōu)化，能夠支持復(fù)雜的數(shù)據(jù)流設(shè)計(jì)、大規(guī)模數(shù)據(jù)并行處理等功能。

1.2 Kettle在數(shù)據(jù)處理中的地位

在大數(shù)據(jù)處理領(lǐng)域，Kettle以友好的用戶操作圖形界面、豐富的插件支持、眾多異構(gòu)數(shù)據(jù)源的接入支持，以及高效的數(shù)據(jù)并行處理能力，能夠非常出色地處理不同數(shù)據(jù)源的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，包括但不限于Oracle、Mysql、SQL Server、XML、EXCEL、JSON等類型數(shù)據(jù)源，在數(shù)據(jù)處理中占據(jù)重要地位。除此以外，由于Kettle的跨平臺(tái)特性，使其能夠在常見的Linux、Unix、Windows等多種操作系統(tǒng)中運(yùn)行，增強(qiáng)了其在數(shù)據(jù)處理項(xiàng)目中的靈活性和可移植性。

1.3 Kettle與其他ETL的對(duì)比

目前，常用的ETL工具有IBM Datastage、InforMactica PowerCentre、Microsoft SQL Server Integration Services等[3]，這些工具雖然技術(shù)成熟且有技術(shù)支持和專業(yè)的售后服務(wù)，但對(duì)于普通高校來說，其昂貴的價(jià)格是最大的缺點(diǎn)。而Kettle是開源的產(chǎn)品，有強(qiáng)大的開源社區(qū)支持，相關(guān)技術(shù)資料也比較完善，在成本效益方面具有顯著的特點(diǎn)，各高校在數(shù)據(jù)處理項(xiàng)目中可以優(yōu)先考慮使用Kettle。

2. Kettle核心技術(shù)

2.1 Kettle架構(gòu)

Kettle架構(gòu)可以劃分為三層，即核心引擎層、開發(fā)層、擴(kuò)展層，三個(gè)層次共同協(xié)作，為數(shù)據(jù)處理提供強(qiáng)大的支持。最底層是核心引擎層，負(fù)責(zé)處理數(shù)據(jù)的抽取、轉(zhuǎn)換、加載，以及元數(shù)據(jù)的管理，其相關(guān)的jar文件位于lib目錄下，為上層提供強(qiáng)大的支撐；中間層是開發(fā)層，主要通過Spoon客戶端進(jìn)行操作，在使用Kettle進(jìn)行數(shù)據(jù)集成時(shí)，大部分時(shí)間就是在這一層進(jìn)行設(shè)計(jì)、調(diào)試、運(yùn)行轉(zhuǎn)換和作業(yè)操作，是進(jìn)行數(shù)據(jù)交換規(guī)則設(shè)計(jì)的最重要步驟；最上層是擴(kuò)展層，為開發(fā)者提供了豐富的擴(kuò)展接口和工具，支持自定義開發(fā)，以滿足特定需求。

2.2 轉(zhuǎn)換與作業(yè)兩大核心組件[4]

Kettle的轉(zhuǎn)換組件是一個(gè)有向無環(huán)圖，用于描述數(shù)據(jù)在各個(gè)步驟之間的流向和處理過程，是處理數(shù)據(jù)流的核心組件，包含一系列步驟，每個(gè)步驟執(zhí)行特定的操作，如讀取數(shù)據(jù)庫中的數(shù)據(jù)、讀取文件、過濾記錄、比較數(shù)據(jù)和合并數(shù)據(jù)等。作業(yè)組件是一種總控流程，用于管理和協(xié)調(diào)多個(gè)轉(zhuǎn)換和其他作業(yè)的執(zhí)行，能夠按照順序或條件觸發(fā)執(zhí)行一系列操作，以適應(yīng)不同的業(yè)務(wù)需求。

2.3 步驟與跳躍機(jī)制

在轉(zhuǎn)換中，步驟是數(shù)據(jù)處理的基本單元，每個(gè)步驟都有輸入和輸出，并執(zhí)行一系列的數(shù)據(jù)處理操作，如數(shù)據(jù)清洗、數(shù)據(jù)合并比較、格式轉(zhuǎn)換等。跳躍機(jī)制則允許數(shù)據(jù)跳過某些步驟直接傳遞到后續(xù)步驟，根據(jù)業(yè)務(wù)需求選擇不同的步驟執(zhí)行。

3. 高校大數(shù)據(jù)處理的必要性研究

3.1 研究背景

高校的信息化建設(shè)是教育信息化的重要組成部分，高校作為教學(xué)和科研的重要場(chǎng)所，隨著各業(yè)務(wù)的不斷發(fā)展，已經(jīng)擁有大量的教學(xué)、科研、管理數(shù)據(jù)。這些數(shù)據(jù)蘊(yùn)含著巨大的價(jià)值，如何有效地處理和利用這些數(shù)據(jù)，為高校師生提供個(gè)性化服務(wù)和為管理者提供數(shù)據(jù)分析與決策，目前已經(jīng)成為各高校數(shù)字化轉(zhuǎn)型需要解決的問題。

3.2 研究意義

通過高校大數(shù)據(jù)的處理與分析，不僅可以優(yōu)化教學(xué)資源配置，提高教學(xué)質(zhì)量和科研工作的效率，還可以為學(xué)生提供更加個(gè)性化的教育服務(wù)。通過深入研究Kettle在高校大數(shù)據(jù)處理中的應(yīng)用，可以為高校提供一套有效的數(shù)據(jù)處理方案，促進(jìn)高校信息化建設(shè)。

3.3 研究內(nèi)容

通過深入探討Kettle技術(shù)在高校大數(shù)據(jù)處理中的應(yīng)用，探索其在高校場(chǎng)景下的實(shí)際應(yīng)用效果，包括但不限于師生基礎(chǔ)數(shù)據(jù)、學(xué)校基礎(chǔ)數(shù)據(jù)、教學(xué)數(shù)據(jù)等多種場(chǎng)景的數(shù)據(jù)處理為案例，將分布在不同系統(tǒng)的高校數(shù)據(jù)進(jìn)行有效整合，可以提高數(shù)據(jù)的一致性和數(shù)據(jù)的共享性。

4. Kettle在高校數(shù)據(jù)處理中的應(yīng)用案例

本文以廣州工商學(xué)院數(shù)據(jù)交換平臺(tái)為應(yīng)用案例，利用Kettle工具，將人力資源管理系統(tǒng)中的教職工數(shù)據(jù)同步至學(xué)校的數(shù)據(jù)中心共享數(shù)據(jù)庫，達(dá)到兩個(gè)數(shù)據(jù)庫的教職工數(shù)據(jù)一致，并利用學(xué)校自主研發(fā)的任務(wù)調(diào)度平臺(tái)，每天晚上12點(diǎn)進(jìn)行數(shù)據(jù)同步，實(shí)現(xiàn)數(shù)據(jù)自動(dòng)更新的效果。

4.1 設(shè)計(jì)數(shù)據(jù)轉(zhuǎn)換流程

利用Kettle的Spoon客戶端進(jìn)行數(shù)據(jù)轉(zhuǎn)換設(shè)計(jì)，根據(jù)具體的業(yè)務(wù)數(shù)據(jù)處理要求，使用Kettle工具中提供的輸入、轉(zhuǎn)換、流程、輸出等控件進(jìn)行設(shè)計(jì)，將人力資源數(shù)據(jù)庫中的教職工數(shù)據(jù)同步至數(shù)據(jù)中心的共享數(shù)據(jù)庫中。教職工數(shù)據(jù)轉(zhuǎn)換流程設(shè)計(jì)界面如圖1所示。

4.2 數(shù)據(jù)轉(zhuǎn)換流程設(shè)計(jì)操作步驟

4.2.1 數(shù)據(jù)庫連接

數(shù)據(jù)庫連接是指在Kettle的DB連接功能里面，分別創(chuàng)建數(shù)據(jù)來源端的數(shù)據(jù)庫訪問和數(shù)據(jù)目標(biāo)端的數(shù)據(jù)訪問連接，用于在表輸入或表輸出等步驟獲得數(shù)據(jù)或插入與更新數(shù)據(jù)。在本案例中，需要?jiǎng)?chuàng)建人力資源管理系統(tǒng)數(shù)據(jù)庫和共享數(shù)據(jù)庫的連接，根據(jù)數(shù)據(jù)庫的類型分別創(chuàng)建SQL Server數(shù)據(jù)庫連接和Oracle數(shù)據(jù)庫連接。

4.2.2 數(shù)據(jù)抽取[5]

數(shù)據(jù)抽取是指在轉(zhuǎn)換流程的開始節(jié)點(diǎn)根據(jù)不同的數(shù)據(jù)源類型，包括但不限于表輸入、Excel輸入、XML輸入、文本文件輸入等輸入控件，獲取源頭數(shù)據(jù)或目標(biāo)數(shù)據(jù)。在本案例中，人力資源管理系統(tǒng)的教職工數(shù)據(jù)表（V_JZG）作為轉(zhuǎn)換流程的數(shù)據(jù)源，而共享數(shù)據(jù)庫的教職工數(shù)據(jù)表（JG_JZGJBSJ）作為轉(zhuǎn)換流程的目標(biāo)數(shù)據(jù)，需要同步更新。

4.2.3 數(shù)據(jù)轉(zhuǎn)換

在數(shù)據(jù)轉(zhuǎn)換步驟，可根據(jù)實(shí)際需要對(duì)前一步驟的數(shù)據(jù)抽取獲得的數(shù)據(jù)進(jìn)行處理，包括但不限于字段選擇、值映射、去重復(fù)記錄、增加常量、修改數(shù)據(jù)類型[6]等多種數(shù)據(jù)轉(zhuǎn)換操作。在本案例中，需要進(jìn)行字段選擇，并對(duì)V_JZG和JG_JZGJBSJ兩個(gè)表中的字段進(jìn)行一一對(duì)應(yīng)，修改V_JZG表中的數(shù)據(jù)類型，使其與JG_JZGJBSJ表的數(shù)據(jù)類型一致。經(jīng)過這樣的操作后，方可進(jìn)行合并記錄的操作，進(jìn)行數(shù)據(jù)比對(duì)。

4.2.4 數(shù)據(jù)流向

在每一個(gè)步驟節(jié)點(diǎn)上，都會(huì)對(duì)數(shù)據(jù)進(jìn)行相關(guān)的數(shù)據(jù)處理操作，在每一個(gè)步驟節(jié)點(diǎn)之間需要用箭頭連接起來，表示數(shù)據(jù)的流向，這樣可以起到承上啟下的作用。如圖1流程圖上的箭頭方向。

4.2.5 數(shù)據(jù)加載

數(shù)據(jù)經(jīng)過前面一系列的抽取、轉(zhuǎn)換、清洗等操作后，得到的數(shù)據(jù)是符合入庫標(biāo)準(zhǔn)的，這時(shí)需要將數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)倉庫，通過“插入/更新”控件將數(shù)據(jù)同步到目標(biāo)庫中。在本案例中，以ID作為唯一標(biāo)識(shí)，對(duì)共享數(shù)據(jù)庫中的教職工數(shù)據(jù)表進(jìn)行插入或更新。若ID不存在，則進(jìn)行插入操作；若ID存在，則進(jìn)行更新操作，對(duì)不需要同步更新的字段可根據(jù)實(shí)際需要進(jìn)行不更新操作，只需將更新標(biāo)識(shí)設(shè)置為N。

4.2.6 運(yùn)行或調(diào)試轉(zhuǎn)換流程

至此，數(shù)據(jù)轉(zhuǎn)換流程已經(jīng)設(shè)計(jì)完畢，可點(diǎn)擊流程圖左上角的三角箭頭進(jìn)行手動(dòng)運(yùn)行，觀察其數(shù)據(jù)處理是否達(dá)到預(yù)期效果。

4.3 任務(wù)調(diào)度平臺(tái)相關(guān)設(shè)置

4.3.1 設(shè)置調(diào)度策略

由于Kettle目前沒有調(diào)度功能，而使用操作系統(tǒng)自帶的調(diào)度功能又不夠友好，因此，學(xué)校自主研發(fā)了一套任務(wù)調(diào)度平臺(tái)，該平臺(tái)提供定時(shí)策略、轉(zhuǎn)換管理、作業(yè)管理、監(jiān)控管理等與調(diào)度任務(wù)相關(guān)的功能。在本案例中，通過對(duì)教職工數(shù)據(jù)轉(zhuǎn)換流程的調(diào)度策略設(shè)置，規(guī)定每晚12點(diǎn)啟動(dòng)執(zhí)行，完成對(duì)Kettle轉(zhuǎn)換任務(wù)的執(zhí)行調(diào)度。

4.3.2 監(jiān)控任務(wù)執(zhí)行狀態(tài)和執(zhí)行結(jié)果

由于轉(zhuǎn)換任務(wù)是自動(dòng)執(zhí)行、無人操控的，不能立即監(jiān)控到執(zhí)行情況，因此，學(xué)校的任務(wù)調(diào)度平臺(tái)除了調(diào)度功能外，還能對(duì)所有任務(wù)策略的執(zhí)行情況進(jìn)行記錄，記載每一條任務(wù)調(diào)度的詳細(xì)情況，以便管理員能及時(shí)發(fā)現(xiàn)問題，并進(jìn)行相關(guān)處理。

結(jié)語

本文對(duì)ETL工具Kettle的核心技術(shù)進(jìn)行了深入探討，對(duì)高校大數(shù)據(jù)處理必要性進(jìn)行分析，通過對(duì)廣州工商學(xué)院數(shù)據(jù)交換平臺(tái)Kettle應(yīng)用案例的分析和研究，進(jìn)一步證實(shí)了Kettle在數(shù)據(jù)處理方面有著廣泛的應(yīng)用，包括數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載等，同時(shí)，在處理異構(gòu)數(shù)據(jù)源、數(shù)據(jù)整合等方面也有著出色的表現(xiàn)，打破了各應(yīng)用系統(tǒng)之間的數(shù)據(jù)壁壘，為高校大數(shù)據(jù)處理提供整合方案，實(shí)現(xiàn)了高校大數(shù)據(jù)的互聯(lián)互通。

參考文獻(xiàn)：

[1]教育部關(guān)于印發(fā)《教育信息化2.0行動(dòng)計(jì)劃》的通知（教技〔2018〕6號(hào)）[A/OL].（2018-04-18）[2024-07-28].http：//www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html.

[2]王天舉，許丹亞，尹文志，等.基于Kettle的鐵路數(shù)據(jù)接入的設(shè)計(jì)與實(shí)現(xiàn)[J].無線互聯(lián)科技，2023，20（8）：79-82.

[3]朱利哲，孔鵬.基于Kettle的異構(gòu)數(shù)據(jù)集成系統(tǒng)[J].傳感器世界，2023，29（3）：29-33.

[4]韋亞軍，張文文，李冬青.基于Kettle的數(shù)據(jù)轉(zhuǎn)換同步方法研究[J].軟件導(dǎo)刊，2022，21（8）：126-131.

[5]薛鵬飛.Kettle在高校數(shù)據(jù)中心對(duì)接集成中的應(yīng)用與研究[J].信息記錄材料，2021，22（8）：177-179.

[6]唐紫珺，蔣亮.基于Kettle的數(shù)據(jù)預(yù)處理應(yīng)用[J].信息技術(shù)與信息化，2021（8）：128-130.

作者簡介：徐紹銅，本科，高級(jí)工程師，394328136@qq.com，研究方向：教育信息化、計(jì)算機(jī)應(yīng)用。