大數(shù)據(jù)時(shí)代下的動(dòng)態(tài)可配置數(shù)據(jù)采集系統(tǒng)的研究與設(shè)計(jì)

丁　俊　鄭　輝

(安徽工業(yè)經(jīng)濟(jì)職業(yè)技術(shù)學(xué)院計(jì)算機(jī)與藝術(shù)學(xué)院　安徽 合肥 230051)

0　引　言

隨著大數(shù)據(jù)時(shí)代的來臨，大量原始數(shù)據(jù)的采集是一切數(shù)據(jù)分析和處理的基礎(chǔ)。雖然互聯(lián)網(wǎng)、電子儀器可以采集大量的數(shù)據(jù)，但還有很大一部分?jǐn)?shù)據(jù)是需要人工填寫的，如與個(gè)人相關(guān)的各類基本信息、問卷調(diào)查等。各級政府機(jī)構(gòu)、企事業(yè)單位在采集此類數(shù)據(jù)時(shí)，或者打印出紙質(zhì)表格或者制作出電子表格，然后下發(fā)給相關(guān)人群填寫，再由專人收集整理統(tǒng)計(jì)，整個(gè)信息采集過程繁瑣，費(fèi)時(shí)費(fèi)力，而且容易出錯(cuò)。

本文針對這個(gè)現(xiàn)實(shí)問題，在Java Web開發(fā)平臺(tái)上，利用Apache POI插件開發(fā)出一套可以直接導(dǎo)入Excel數(shù)據(jù)采集模板并快速生成數(shù)據(jù)采集網(wǎng)頁的Web應(yīng)用程序。該數(shù)據(jù)采集網(wǎng)頁可以根據(jù)用戶的需求進(jìn)行個(gè)性化的動(dòng)態(tài)配置。在網(wǎng)頁的生成和配置過程中，系統(tǒng)可以通過Excel標(biāo)注提示、表單內(nèi)容提示、客戶端表單驗(yàn)證等多種方式，提醒和引導(dǎo)被采集人填寫符合規(guī)范的信息。數(shù)據(jù)采集網(wǎng)頁生成后，可通過QQ、微信和短信等多種方式向信息被采集人推送，被采集人可利用個(gè)人電腦、手機(jī)以及各類移動(dòng)終端隨時(shí)隨地打開數(shù)據(jù)采集網(wǎng)頁填寫并提交信息，所有信息采集完畢后，又可從系統(tǒng)中導(dǎo)出數(shù)據(jù)生成人們熟悉的Excel文檔，從而大大提高數(shù)據(jù)采集的效率和規(guī)范性。此外，存在于系統(tǒng)中的數(shù)據(jù)可以在多次數(shù)據(jù)采集中重復(fù)引用，一方面可減少被采集人的數(shù)據(jù)錄入量，另一方面可以利用現(xiàn)有數(shù)據(jù)對新數(shù)據(jù)進(jìn)行校驗(yàn)。通過反復(fù)多次相關(guān)的數(shù)據(jù)采集和整合，使得系統(tǒng)中的數(shù)據(jù)不斷完善和龐大，為日后的大數(shù)據(jù)分析提供充足而真實(shí)的數(shù)據(jù)源。

1　系統(tǒng)技術(shù)選型

系統(tǒng)的基本框架是在Java Web平臺(tái)上設(shè)計(jì)實(shí)現(xiàn)的，系統(tǒng)以CSS、JQuery、JSP和Servlet為主要開發(fā)技術(shù)，借助于Apache POI插件實(shí)現(xiàn)了Excel文件的導(dǎo)入和導(dǎo)出，底層以MySQL作為存儲(chǔ)數(shù)據(jù)庫。

2　系統(tǒng)總體架構(gòu)設(shè)計(jì)

2.1　系統(tǒng)架構(gòu)設(shè)計(jì)

為了實(shí)現(xiàn)從Excel模板數(shù)據(jù)的導(dǎo)入，到最終再以Excel格式的文件導(dǎo)出采集的數(shù)據(jù)，系統(tǒng)主要包括模板數(shù)據(jù)讀入與解析、元數(shù)據(jù)記錄與模式創(chuàng)建、模式配置、網(wǎng)頁發(fā)布與數(shù)據(jù)采集和數(shù)據(jù)管理五大模塊，如圖1所示為系統(tǒng)總體架構(gòu)圖。

圖1　系統(tǒng)總體架構(gòu)圖

2.1.1模板數(shù)據(jù)讀入與解析模塊

在本模塊中，系統(tǒng)提供了文件上傳表單接口，用戶可以上傳xls、xlsx、csv三種類型的模板文件，然后再從模板文件中解析出字段名和數(shù)據(jù)內(nèi)容。

2.1.2元數(shù)據(jù)記錄和模式創(chuàng)建模塊

本模塊根據(jù)數(shù)據(jù)讀入和解析模塊中已經(jīng)解析出來的字段名、字段類型、各字段對應(yīng)的數(shù)據(jù)內(nèi)容等一系列信息創(chuàng)建滿足需求的數(shù)據(jù)表元數(shù)據(jù)模型和字段元數(shù)據(jù)模型，然后再將這些字段名、字段類型等元素?fù)?jù)存儲(chǔ)到相應(yīng)的元數(shù)據(jù)模型中。

2.1.3模式配置模塊

在模式配置模塊中，用戶可以根據(jù)需要對字段類型、字段引用類型、字段對應(yīng)的表單控件類型、字段的具體引用內(nèi)容和字段注釋等內(nèi)容進(jìn)行靈活配置，以滿足個(gè)性化需求[1]，如圖2所示為一個(gè)論文數(shù)據(jù)采集表的模式配置畫面。

圖2　模式配置

2.1.4網(wǎng)頁發(fā)布和數(shù)據(jù)采集模塊

在本模塊中，用戶可以根據(jù)新生成的數(shù)據(jù)表模型以及配置好的模式特征，將數(shù)據(jù)采集網(wǎng)頁以表單形式發(fā)布出去，通過QQ、微信和短信等多種方式向數(shù)據(jù)被采集人推送。被采集人可利用個(gè)人電腦、手機(jī)以及各類移動(dòng)終端隨時(shí)隨地直接打開網(wǎng)頁填寫并提交信息，信息提交后將直接保存至服務(wù)器數(shù)據(jù)庫中。

2.1.5預(yù)覽、導(dǎo)出等其他數(shù)據(jù)管理模塊

系統(tǒng)除了以上幾個(gè)模塊外，還包括數(shù)據(jù)預(yù)覽、刪除和導(dǎo)出幾個(gè)常見數(shù)據(jù)管理模塊。在預(yù)覽模塊中，對已采集的數(shù)據(jù)進(jìn)行多種模式的篩選和排序查看；刪除模塊則對指定的數(shù)據(jù)表進(jìn)行刪除，同時(shí)以事務(wù)的形式對該表對應(yīng)的數(shù)據(jù)表元數(shù)據(jù)和字段元數(shù)據(jù)進(jìn)行刪除操作，以保持?jǐn)?shù)據(jù)的一致性；導(dǎo)出模塊則利用Apache POI插件將已采集的數(shù)據(jù)進(jìn)行全部或者分類導(dǎo)出成Excel文件。

2.2　系統(tǒng)數(shù)據(jù)模型設(shè)計(jì)

系統(tǒng)為了實(shí)現(xiàn)模式的動(dòng)態(tài)可配置特性，除了需要?jiǎng)?chuàng)建與Excel文檔相對應(yīng)的用來存儲(chǔ)被采集數(shù)據(jù)的數(shù)據(jù)模型外，還專門設(shè)計(jì)了兩個(gè)用來記錄數(shù)據(jù)表、字段和表單屬性等一系列元數(shù)據(jù)的數(shù)據(jù)模型，分別是數(shù)據(jù)表元數(shù)據(jù)模型和字段元數(shù)據(jù)模型[2]。

2.2.1數(shù)據(jù)表元數(shù)據(jù)模型

該數(shù)據(jù)模型主要用來存放Excel模板文件中每個(gè)工作表的基本信息及其相關(guān)信息，它包括數(shù)據(jù)表Id(關(guān)鍵字段)、數(shù)據(jù)表原名、現(xiàn)名、原表類型、創(chuàng)建人、創(chuàng)建時(shí)間、字段數(shù)、發(fā)布網(wǎng)址、填表說明等數(shù)據(jù)，其數(shù)據(jù)模型如圖3所示。

圖3　數(shù)據(jù)表元數(shù)據(jù)模型

2.2.2字段元數(shù)據(jù)模型

該數(shù)據(jù)模型主要用來存放系統(tǒng)中所有字段及其相關(guān)的信息，它包括字段id(關(guān)鍵字段)、關(guān)聯(lián)數(shù)據(jù)表id(外鍵)、字段名、字段類型、字段引用標(biāo)志、字段具體引用內(nèi)容、字段注釋和字段對應(yīng)的表單控件類型等數(shù)據(jù)，其數(shù)據(jù)模型如圖4所示。

圖4　字段元數(shù)據(jù)模型

3　系統(tǒng)實(shí)現(xiàn)

3.1　具體實(shí)現(xiàn)方法

系統(tǒng)的具體實(shí)現(xiàn)主要借助于Apache POI插件、Jquery、Ajax異步處理、JDBC批處理等技術(shù)，在實(shí)現(xiàn)過程中，其中模式解析、模式存儲(chǔ)和模式配置三個(gè)部分比較復(fù)雜。

3.1.1模式解析的實(shí)現(xiàn)

系統(tǒng)的入口以表單形式提供模板文件的上傳接口，文件上傳后，再利用Apache POI插件實(shí)現(xiàn)對模板文件的數(shù)據(jù)讀取和解析，在解析過程中，需要對模板文件的類型、模板文件中的字段名、數(shù)據(jù)類型、非常規(guī)數(shù)據(jù)等一系列信息進(jìn)行識(shí)別和區(qū)分。不同的文件類型需要不同的POI對象來完成解析，如xlsx文件需要借助于XSSFWorkbook、XSSFRow、XSSFCell等多個(gè)對象來完成。而在對數(shù)據(jù)內(nèi)容進(jìn)行解析時(shí)，需要區(qū)分模板文件中每列數(shù)據(jù)的類型，如字符、數(shù)值、日期、公式和空值等，這些數(shù)據(jù)類型直接影響后續(xù)模式的創(chuàng)建和未來可采集的數(shù)據(jù)種類。

3.1.2模式存儲(chǔ)的實(shí)現(xiàn)

系統(tǒng)中專門設(shè)計(jì)了數(shù)據(jù)表元數(shù)據(jù)模型和字段元數(shù)據(jù)模型，用來存儲(chǔ)系統(tǒng)中所有的表、字段及其屬性的元數(shù)據(jù)，系統(tǒng)模式的動(dòng)態(tài)配置完全依賴這些元數(shù)據(jù)。其中數(shù)據(jù)表元數(shù)據(jù)模型主要用于存儲(chǔ)模板文件中的每個(gè)表相關(guān)的信息如數(shù)據(jù)表原名、現(xiàn)名(為了防止重名由程序動(dòng)態(tài)生成)、原表類型、創(chuàng)建人、創(chuàng)建時(shí)間、字段數(shù)、填表說明等信息，而字段元數(shù)據(jù)模型主要用于存儲(chǔ)系統(tǒng)中所有表的字段名、字段類型、字段引用標(biāo)志、字段注釋和字段對應(yīng)的表單控件類型等數(shù)據(jù)信息。

3.1.3模式配置的實(shí)現(xiàn)

系統(tǒng)目前支持以“僅結(jié)構(gòu)”和“結(jié)構(gòu)和數(shù)據(jù)”兩種方式上傳模板文件，在以“僅結(jié)構(gòu)”的方式上傳模板文件時(shí)，新建的模型表中只有一行樣例數(shù)據(jù)，沒有有效數(shù)據(jù)，所有字段的引用類型都為“手工輸入”，默認(rèn)的表單控件類型為“單行文本框”。而對于以“結(jié)構(gòu)和數(shù)據(jù)”方式上傳模板文件，新建的模型表中除了包含第一行樣例數(shù)據(jù)外，系統(tǒng)還會(huì)把模板文件中原有的數(shù)據(jù)全部寫入到模型表中，信息被采集人在填寫數(shù)據(jù)時(shí)可以選擇這些數(shù)據(jù)或者利用這些數(shù)據(jù)進(jìn)行數(shù)據(jù)的查詢、校驗(yàn)和整合等操作。這種情況下，默認(rèn)的字段引用類型都為“自引用”，默認(rèn)的表單控件類型為“可新增下拉菜單”。以上兩種模板文件上傳方式，字段的引用類型和其對應(yīng)的表單控件類型都是固定統(tǒng)一的，無法滿足用戶在不同應(yīng)用場合下的數(shù)據(jù)采集需求，因此系統(tǒng)提供了模式動(dòng)態(tài)配置功能。

在模式配置模塊中，字段引用類型、字段對應(yīng)的表單控件類型、字段的具體引用內(nèi)容是系統(tǒng)模式配置的核心內(nèi)容，其中字段引用類型主要包括手工輸入、自引用、限定值和引用其他表字段四種類型[3]?！笆止ぽ斎搿笔侵冈撟侄瓮耆杀徊杉俗约轰浫耄弧白砸谩笔侵冈谛畔⒉杉瘯r(shí)，該字段的值可以從模板中現(xiàn)有的數(shù)據(jù)或之前已經(jīng)錄入的數(shù)據(jù)中進(jìn)行選擇，大大減少信息錄入量，并且可提高錄入數(shù)據(jù)的規(guī)范化程度；“限定值”是指該字段的取值限定在一組特定的值之中，這組特定值可以從模板文件中上傳，也可以直接在模式配置模塊中設(shè)置；“引用其他表字段”是指該字段的取值可以直接引用自系統(tǒng)中現(xiàn)有的某個(gè)表的某個(gè)字段。

表單控件類型默認(rèn)為“單行文本框”或“可新增下拉菜單”，其可選值包括常用的控件類型如單行文本框、多行文本框、可新增下拉菜單、普通下拉菜單、單選按鈕、復(fù)選按鈕、日期時(shí)間框、文件上傳框等。根據(jù)字段類型、引用類型和采集數(shù)據(jù)特性以及使用的便利性，用戶可進(jìn)行自由配置。

具體引用內(nèi)容默認(rèn)情況下為空，當(dāng)字段引用類型設(shè)置為“限定值”或“引用其他表字段”方式后，該項(xiàng)將記錄具體的引用內(nèi)容。如字段引用類型為“限定值”時(shí)，該項(xiàng)將保存該字段引用的具體限定值；字段引用類型為“引用其他表字段”時(shí)，該項(xiàng)將保存引用的表名和字段名；在“自引用”的情況下，該項(xiàng)主要用來保存指定字段是否可重復(fù)、是否可查詢等標(biāo)志信息[4]。

3.2　系統(tǒng)實(shí)現(xiàn)中的關(guān)鍵技術(shù)

3.2.1字段數(shù)據(jù)類型的識(shí)別

在系統(tǒng)的模式解析和轉(zhuǎn)換過程中，用戶的Excel模板文件只提供一行字段名，而字段名中并沒有包含數(shù)據(jù)類型信息。要將其解析并轉(zhuǎn)換成關(guān)系數(shù)據(jù)模型，則必須為每個(gè)字段指定一種數(shù)據(jù)類型，系統(tǒng)中每個(gè)字段數(shù)據(jù)類型的確定是非常關(guān)鍵的。

在本系統(tǒng)中主要是通過樣例數(shù)據(jù)來識(shí)別和確定數(shù)據(jù)類型，但Apache POI對Excel單元格內(nèi)容只識(shí)別為CELL_TYPE_STRING、CELL_TYPE_NUMERIC、CELL_TYPE_BOOLEAN、CELL_TYPE_FORMULA和CELL_TYPE_BLANK五種類型之一，而在實(shí)際應(yīng)用和關(guān)系數(shù)據(jù)模型中則遠(yuǎn)不止這幾種數(shù)據(jù)類型，再加上用戶提供的樣例數(shù)據(jù)的有限性和不規(guī)范性，使得實(shí)際情況更加復(fù)雜。如單元格內(nèi)容為公式、電話號碼、身份證號、QQ號的情況等，是定義為數(shù)字類型，還是字符類型呢？這就需要程序進(jìn)行智能識(shí)別和模糊判斷，針對各種不同類型的實(shí)際數(shù)據(jù)都要進(jìn)行多重邏輯判斷才能選擇一個(gè)最佳的數(shù)據(jù)類型[5]。例如當(dāng)模板數(shù)據(jù)中出現(xiàn)一串?dāng)?shù)字，程序首先以字符串的形式檢測其長度，如果是15或18位，然后再以如下正則表達(dá)式 (d{14}[0-9a-zA-Z])|(d{17}[0-9a-zA-Z])對其進(jìn)行識(shí)別，符合上述規(guī)則則識(shí)別為身份證號碼，定義數(shù)據(jù)模型時(shí)則將該字段定義為字符型，否則將該字段定義為長整型。在某些情況下，程序確實(shí)無法判斷時(shí)，則提示用戶進(jìn)行選擇確定。

3.2.2模式動(dòng)態(tài)配置

模式動(dòng)態(tài)配置是實(shí)現(xiàn)動(dòng)態(tài)可配置數(shù)據(jù)采集系統(tǒng)的關(guān)鍵技術(shù)模塊，也是系統(tǒng)中最復(fù)雜的一個(gè)模塊。在模板文件導(dǎo)入后，用戶可以根據(jù)實(shí)際需求對各個(gè)字段的屬性進(jìn)行個(gè)性化配置，在本系統(tǒng)中用戶可以對模式中各字段的數(shù)據(jù)類型(field_type)、表單類型(form_type)、字段引用類型(ref_flag)及其引用內(nèi)容(ref_detail)進(jìn)行動(dòng)態(tài)配置[6]。在不同的模板導(dǎo)入方式下，其默認(rèn)值是不同的，其中數(shù)據(jù)類型(field_type)是由模式解析模塊根據(jù)樣例數(shù)據(jù)來確定的。當(dāng)以“僅結(jié)構(gòu)”的方式導(dǎo)入模板時(shí)， form_type默認(rèn)為普通文本框或者日期框(字段類型為日期型)，ref_flag和ref_detail為空；當(dāng)以“結(jié)構(gòu)和數(shù)據(jù)”的方式導(dǎo)入模板時(shí)， form_type默認(rèn)為可新增下拉菜單或者日期框(字段類型為日期型)，ref_flag為“自引用”，ref_detail為空。

在模板導(dǎo)入后，用戶還可以根據(jù)實(shí)際需求對各字段的相關(guān)特征進(jìn)行動(dòng)態(tài)個(gè)性化的配置，以使字段類型、表單類型能夠很好地匹配并且具有較好的用戶體驗(yàn)。如當(dāng)ref_flag為“自引用”時(shí)，在ref_detail字段可以配置該字段是否可重復(fù)、是否可查詢等標(biāo)志，是否可重復(fù)標(biāo)志決定在該字段上是否允許有重復(fù)取值，是否可查詢標(biāo)志決定是否可以根據(jù)該字段值從原始數(shù)據(jù)中查詢其他字段值顯示在表單中，以減少數(shù)據(jù)錄入量，同時(shí)可對已有的數(shù)據(jù)進(jìn)行驗(yàn)證；當(dāng)ref_flag為“引用其他表字段”，在ref_detail字段可以配置引用系統(tǒng)中哪個(gè)表的哪個(gè)字段，同時(shí)form_type也會(huì)自動(dòng)配置為可新增下拉菜單，方便用戶重復(fù)使用系統(tǒng)現(xiàn)有的數(shù)據(jù)來完成數(shù)據(jù)的錄入和整合。在配置過程中，系統(tǒng)還利用了JQuery技術(shù)實(shí)現(xiàn)了field_type、form_type、ref_flag之間的自動(dòng)聯(lián)動(dòng)，如當(dāng)field_type設(shè)置為日期型時(shí)，form_type自動(dòng)配置為日期框，ref_flag自動(dòng)配置為手動(dòng)輸入；當(dāng)ref_flag配置為自引用類型時(shí)，form_type自動(dòng)配置為可新增下拉菜單，如果你不希望該字段新增其他值，也可以手動(dòng)將其配置為普通下拉菜單[7]。本系統(tǒng)目前已提供了豐富的模式動(dòng)態(tài)配置功能，從而可以滿足多種不同的應(yīng)用場合，后期將逐步完善該功能，以適應(yīng)更廣泛的應(yīng)用需求。

3.2.3數(shù)據(jù)的規(guī)范化處理

在以“結(jié)構(gòu)和數(shù)據(jù)”方式導(dǎo)入模板文件時(shí)，模板文件中除了包含一行樣例數(shù)據(jù)外，大多都還包含了大量的原始數(shù)據(jù)。由于不同用戶的應(yīng)用場合不同，這些原始數(shù)據(jù)內(nèi)容則更是五花八門，然而在數(shù)據(jù)模型創(chuàng)建后，這些原始數(shù)據(jù)都要寫入到數(shù)據(jù)庫中，以便在后期數(shù)據(jù)采集時(shí)進(jìn)行數(shù)據(jù)復(fù)用、校驗(yàn)和整合。寫入時(shí)每個(gè)數(shù)據(jù)還必須與所在字段的數(shù)據(jù)類型保持一致，因此需要對這些數(shù)據(jù)進(jìn)行規(guī)范化處理。針對文件中出現(xiàn)的各種非預(yù)期內(nèi)容，如不規(guī)范單元格、空行空列、空白單元格、帶公式的單元格、帶格式的單元格、日期型數(shù)據(jù)的單元格等，系統(tǒng)也開發(fā)了復(fù)雜的業(yè)務(wù)處理邏輯。如日期型數(shù)據(jù)處理就是比較典型的復(fù)雜數(shù)據(jù)處理。在Excel數(shù)據(jù)中，日期型數(shù)據(jù)可能是日期型、也可能是日期時(shí)間型；有年月形式的，也有年月日形式的；有中文日期型，有英文日期型，還有以字符形式出現(xiàn)的日期。然而在Apache POI讀取單元格內(nèi)容時(shí)將英文日期識(shí)別為CELL_TYPE_NUMERIC(數(shù)字型)，而將其他類型的日期都識(shí)別為CELL_TYPE_STRING(字符型)，這就需要系統(tǒng)具有智能化的業(yè)務(wù)邏輯了，對讀入的數(shù)據(jù)進(jìn)行多層次的邏輯判斷，然后再進(jìn)行特定的處理。再比如對于單元格內(nèi)容是公式的情況，系統(tǒng)目前的處理原則是先轉(zhuǎn)換為數(shù)字，若轉(zhuǎn)換為數(shù)字出錯(cuò)，則再轉(zhuǎn)換為文本[8]。數(shù)據(jù)的規(guī)范化處理涉及的內(nèi)容很廣，需要考慮到方方面面，可采取的方案也很多。本系統(tǒng)主要通過了以下幾點(diǎn)設(shè)計(jì)以最大程度地對各類數(shù)據(jù)進(jìn)行規(guī)范化處理：

(1) 多層次的程序業(yè)務(wù)邏輯判斷。

(2) 設(shè)置單元格批注和提供樣例數(shù)據(jù)提醒用戶。

(3) 通過指定字段類型和表單類型對錄入的數(shù)據(jù)進(jìn)行限制和規(guī)范。

(4) 通過客戶端腳本對表單數(shù)據(jù)進(jìn)行驗(yàn)證。

(5) 通過提取系統(tǒng)中已有數(shù)據(jù)列表供用戶選擇。

(6) 到指定數(shù)據(jù)庫中進(jìn)行異步數(shù)據(jù)驗(yàn)證。

(7) 給用戶提供人工檢查和修改環(huán)節(jié)。

4　結(jié)　語

本系統(tǒng)目前已在阿里云上測試運(yùn)行，并已在本單位的多個(gè)部門展開應(yīng)用，雖然基本數(shù)據(jù)采集功能已經(jīng)實(shí)現(xiàn)，但在試運(yùn)行過程中也發(fā)現(xiàn)了很多問題，如：系統(tǒng)的用戶權(quán)限設(shè)置尚未處理，目前對頁面的訪問尚無權(quán)限控制，后期準(zhǔn)備引入多層次用戶權(quán)限控制，加強(qiáng)數(shù)據(jù)的安全和保密工作；在數(shù)據(jù)預(yù)覽頁面需增加按字段排序、篩選查看功能，增加分類導(dǎo)出等功能，改善用戶體驗(yàn)。此外，系統(tǒng)對采集數(shù)據(jù)的進(jìn)一步復(fù)用整合和簡單的數(shù)據(jù)統(tǒng)計(jì)分析是未來主要的研究方向，這也是系統(tǒng)與大數(shù)據(jù)時(shí)代的進(jìn)一步接軌，做好大數(shù)據(jù)處理流程中的數(shù)據(jù)采集和數(shù)據(jù)預(yù)處理等前期工作。

[1] 楊海素,劉婷婷,汪惠芬. 基于模板定制的數(shù)據(jù)采集系統(tǒng)研究[J]. 制造業(yè)自動(dòng)化,2013, 35(10):59-62,65.

[2] 邵東青, 焦文英, 陳海飛,等. 一種內(nèi)容可定制的數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2012, 29(1):181-183,248.

[3] 高瑞明,劉旭麗.可定制數(shù)據(jù)采集技術(shù)的研究和實(shí)現(xiàn)[J]. 現(xiàn)代計(jì)算機(jī)(專業(yè)版), 2014(17):67-69.

[4] 陳明璨.通用數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].河南:鄭州大學(xué),2010.

[5] 羅騰元,吳勇.可定制野外數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[J]. 福建電腦,2014(8):26-28.

[6] 李貢湘.數(shù)據(jù)采集軟件系統(tǒng)開發(fā)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D].山東:中國海洋大學(xué),2013.

[7] 童慶勇, 王盼卿, 李曉輝,等. 數(shù)據(jù)采集系統(tǒng)關(guān)鍵模塊的研究與設(shè)計(jì)實(shí)現(xiàn)[J]. 科學(xué)技術(shù)與工程, 2007, 7(4):620-621,628.

[8] 金雯婷,張松.互聯(lián)網(wǎng)大數(shù)據(jù)采集與處理的關(guān)鍵技術(shù)研究[J].中國金融電腦,2014(11):70-73.