面向PDM 系統(tǒng)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)優(yōu)化技術(shù)

馬江林，鄧樂(lè)富

（中國(guó)航發(fā)南方工業(yè)有限公司信息工程部，湖南株洲 412000）

產(chǎn)品數(shù)據(jù)管理（Product Data Management，PDM）是一種用于管理所有與產(chǎn)品相關(guān)信息的技術(shù)。該技術(shù)可以有效、實(shí)時(shí)且完整地管理從規(guī)劃到報(bào)廢處理整個(gè)產(chǎn)品生命周期中的各種數(shù)字化信息。具體包括零件信息、配置、文檔、計(jì)算機(jī)輔助設(shè)計(jì)（Computer Aided Design，CAD）文件、結(jié)構(gòu)及權(quán)限信息等。PDM技術(shù)的出現(xiàn)大幅提升了產(chǎn)品的生產(chǎn)效率，故其被廣泛應(yīng)用于機(jī)械制造業(yè)，尤其是航空發(fā)動(dòng)機(jī)制造領(lǐng)域。在航空發(fā)動(dòng)機(jī)研發(fā)的過(guò)程中，為了縮短周期，需要保證設(shè)計(jì)與制造部門(mén)之間的生產(chǎn)信息交流和實(shí)時(shí)共享，以便于及時(shí)獲取反饋信息來(lái)更改設(shè)計(jì)制造方案，從而進(jìn)一步降低成本。

在航空發(fā)動(dòng)機(jī)制造領(lǐng)域，PDM 系統(tǒng)能為管理、研發(fā)、設(shè)計(jì)和制造等部門(mén)建立并行化的便捷開(kāi)發(fā)協(xié)作環(huán)境，涵蓋了航空發(fā)動(dòng)機(jī)制造鏈的各個(gè)環(huán)節(jié)，并通過(guò)PDM 數(shù)據(jù)信息化的管理來(lái)提升生產(chǎn)制造效率。隨著產(chǎn)品信息的積累及型號(hào)的不斷更迭，存儲(chǔ)在PDM 中的數(shù)據(jù)量劇增，給傳統(tǒng)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)帶來(lái)了巨大的挑戰(zhàn)。當(dāng)前航空發(fā)動(dòng)機(jī)制造PDM 系統(tǒng)均采用關(guān)系型數(shù)據(jù)庫(kù)作為底層結(jié)構(gòu)支撐，其無(wú)法對(duì)非結(jié)構(gòu)和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效處理，且在處理大量數(shù)據(jù)流的高并發(fā)讀寫(xiě)、高擴(kuò)展性及高可用性等方面也存在諸多不足[1]。因此，有必要對(duì)PDM 數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)加以?xún)?yōu)化。

為了更高效、有序地處理產(chǎn)品數(shù)據(jù)信息，在已有的PDM 存儲(chǔ)結(jié)構(gòu)基礎(chǔ)上，文中提出了一種新型非關(guān)系型數(shù)據(jù)庫(kù)（Not Only SQL，NoSQL）分布式數(shù)據(jù)存儲(chǔ)方案。

1 新型NoSQL分布式數(shù)據(jù)存儲(chǔ)技術(shù)

數(shù)據(jù)存儲(chǔ)是PDM 系統(tǒng)的重要核心，主要包括對(duì)工程數(shù)據(jù)與工程元數(shù)據(jù)的存儲(chǔ)。其中，工程數(shù)據(jù)指的是以文檔、工程、模型文件和音視頻等多種格式存在的非結(jié)構(gòu)化數(shù)據(jù)；而工程元數(shù)據(jù)則是指對(duì)該產(chǎn)品工程資料的描述，如文件名、文件長(zhǎng)度、文件類(lèi)型、創(chuàng)建日期、版本及負(fù)責(zé)人信息和源代碼等具體數(shù)據(jù)[2]。該次分別從數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)優(yōu)化以及數(shù)據(jù)查詢(xún)技術(shù)優(yōu)化兩個(gè)方面來(lái)設(shè)計(jì)新型PDM 系統(tǒng)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)。

1.1 數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)優(yōu)化

現(xiàn)階段PDM 系統(tǒng)均以產(chǎn)品結(jié)構(gòu)樹(shù)為基礎(chǔ)來(lái)實(shí)現(xiàn)數(shù)據(jù)的信息管理，通過(guò)關(guān)系數(shù)據(jù)庫(kù)（Relational Database，RDB）和文件系統(tǒng)集成的方式完成圖文檔存儲(chǔ)。但由于RDB 未將文檔、圖片和工程信息加以區(qū)分就進(jìn)行融合存儲(chǔ)，導(dǎo)致后續(xù)的讀寫(xiě)難度增大，從而降低了工程效率。同時(shí)多種不同格式的數(shù)據(jù)整合后還占用了大量存儲(chǔ)空間，使得PDM 系統(tǒng)的效率也受到影響。

文中采用NoSQL 數(shù)據(jù)庫(kù)搭配Ceph 分布式文件處理模塊作為文檔數(shù)據(jù)存儲(chǔ)的結(jié)構(gòu)。NoSQL 數(shù)據(jù)庫(kù)具有分類(lèi)存儲(chǔ)、分布式應(yīng)用和并行計(jì)算等優(yōu)點(diǎn)，搭配PDM 系統(tǒng)可實(shí)現(xiàn)高擴(kuò)展性及高可靠性的產(chǎn)品數(shù)據(jù)信息處理任務(wù)[3-6]。此外，在數(shù)據(jù)量規(guī)模較大的情況下，該數(shù)據(jù)庫(kù)的并發(fā)讀寫(xiě)性能也較優(yōu)。

Ceph 分布式文件處理模塊將產(chǎn)品圖文檔的元數(shù)據(jù)與其他數(shù)據(jù)分離并進(jìn)行歸類(lèi)[7-10]，再通過(guò)結(jié)構(gòu)化數(shù)據(jù)復(fù)制工具OGG（Oracle Golden Gate）將前者存儲(chǔ)在NoSQL 數(shù)據(jù)庫(kù)中，而后者及元數(shù)據(jù)的備份則存儲(chǔ)至企業(yè)的私有云中。數(shù)據(jù)存儲(chǔ)框圖如圖1 所示。

圖1 PDM數(shù)據(jù)存儲(chǔ)框圖

由于產(chǎn)品圖文檔的數(shù)據(jù)類(lèi)型多樣、數(shù)據(jù)量龐大且無(wú)存儲(chǔ)規(guī)律，因此一般的數(shù)據(jù)庫(kù)難以滿(mǎn)足系統(tǒng)的實(shí)際需求。而所設(shè)計(jì)的存儲(chǔ)結(jié)構(gòu)將Ceph 和OGG 技術(shù)相結(jié)合并運(yùn)用到NoSQL 數(shù)據(jù)庫(kù)中。同時(shí)OGG 還可實(shí)現(xiàn)數(shù)據(jù)庫(kù)與私有云的實(shí)時(shí)同步，便于后續(xù)的數(shù)據(jù)抽取。

該技術(shù)方案既能完成PDM 系統(tǒng)的高效率存儲(chǔ)，又可以實(shí)現(xiàn)數(shù)據(jù)快速響應(yīng)的高吞吐量讀取。NoSQL設(shè)置的地址數(shù)據(jù)庫(kù)存儲(chǔ)空間較大，能夠滿(mǎn)足海量存儲(chǔ)的需求。當(dāng)文件較大時(shí)，還可以通過(guò)OGG 將存儲(chǔ)地址映射至私有云存儲(chǔ)，并將文件類(lèi)型和地址數(shù)據(jù)存儲(chǔ)至NoSQL 數(shù)據(jù)庫(kù)中。當(dāng)用戶(hù)需要調(diào)取歷史產(chǎn)品數(shù)據(jù)時(shí)，需要首先訪問(wèn)NoSQL 數(shù)據(jù)庫(kù)，從中查找文件類(lèi)型和云端尋址地址，然后通過(guò)OGG 獲取目標(biāo)數(shù)據(jù)。該分布式存儲(chǔ)結(jié)構(gòu)能夠有效優(yōu)化存儲(chǔ)空間，精確分區(qū)存儲(chǔ)，從而提高數(shù)據(jù)庫(kù)的讀寫(xiě)效率。

1.2 數(shù)據(jù)查詢(xún)技術(shù)優(yōu)化

計(jì)算引擎Spark 是一種通用的可擴(kuò)展大數(shù)據(jù)分析工具[11-13]，其集批處理、實(shí)時(shí)流處理、交互式查詢(xún)與流計(jì)算于一體，避免了多種運(yùn)算場(chǎng)景下需要部署不同集群所造成的資源浪費(fèi)。通過(guò)Spark Streaming 算法實(shí)現(xiàn)分布式實(shí)時(shí)流式計(jì)算，該算法結(jié)合引擎核心（Spark Core）可實(shí)現(xiàn)數(shù)據(jù)的高速吞吐與實(shí)時(shí)抽取處理[14-16]。該次在采用NoSQL 數(shù)據(jù)庫(kù)存儲(chǔ)工程數(shù)據(jù)的基礎(chǔ)上，提出一種基于Spark 的分步查詢(xún)處理方法，通過(guò)分析并結(jié)合Spark 并行計(jì)算框架以及迭代思想，設(shè)計(jì)了算法的步驟與具體實(shí)現(xiàn)過(guò)程。

假設(shè)某產(chǎn)品的相關(guān)數(shù)據(jù)信息均已存儲(chǔ)至NoSQL數(shù)據(jù)庫(kù)中，包括航空發(fā)動(dòng)機(jī)的編號(hào)（ID）和名稱(chēng)（name）、文件種類(lèi)（type）、尋址地址（address）等類(lèi)型數(shù)據(jù)。選取上述信息作為查詢(xún)節(jié)點(diǎn)數(shù)據(jù)，設(shè)置信息數(shù)據(jù)集合A={ID、name、type、address}，再通過(guò)OGG 將其從數(shù)據(jù)庫(kù)中提取出來(lái)并緩存至Spark Core 中。基于Spark Streaming 設(shè)計(jì)分步查詢(xún)Map 函數(shù)和Search函數(shù)。

1）Map 函數(shù)執(zhí)行：對(duì)兩組產(chǎn)品數(shù)據(jù)進(jìn)行Map 運(yùn)算。通過(guò)該函數(shù)解析并提取數(shù)據(jù)，該算法流程框圖如圖2 所示。

圖2 基于Spark的Map函數(shù)流程框圖

通過(guò)Map 函數(shù)得到{Code、valuedata}。Code 表示數(shù)據(jù)的類(lèi)型，位數(shù)為2 B。設(shè)置1X 為產(chǎn)品編號(hào)數(shù)據(jù)，2X 為產(chǎn)品名稱(chēng)，3X 為文件類(lèi)型，4X 為數(shù)據(jù)尋址地址。部分Code 數(shù)據(jù)類(lèi)型的分配表，如表1 所示。

表1 部分Code數(shù)據(jù)類(lèi)型分配表

2）Search 函數(shù)執(zhí)行：對(duì)兩組產(chǎn)品數(shù)據(jù)進(jìn)行Search運(yùn)算。通過(guò)該函數(shù)尋址提取數(shù)據(jù)并實(shí)現(xiàn)數(shù)據(jù)重構(gòu)。Search 函數(shù)輸入{Code、valuedata}，解析該數(shù)組，移除標(biāo)志位且抽取valuedata；同時(shí)抽取元數(shù)據(jù)地址并進(jìn)行尋址；然后將數(shù)據(jù)重新整合重構(gòu)，再將數(shù)據(jù)打包發(fā)送到OGG 中，進(jìn)而傳輸給用戶(hù)。該函數(shù)算法流程如圖3 所示。

圖3 基于Spark的Search函數(shù)流程框圖

基于Spark 分步查詢(xún)處理技術(shù)和NoSQL 產(chǎn)品數(shù)據(jù)庫(kù)的PDM 系統(tǒng)，通過(guò)MapSearch 算法能夠快速地在大規(guī)模產(chǎn)品中實(shí)現(xiàn)高效率的選址、數(shù)據(jù)抽取和重構(gòu)。為了驗(yàn)證PDM 系統(tǒng)數(shù)據(jù)存儲(chǔ)新結(jié)構(gòu)的可靠性，文中設(shè)置了實(shí)驗(yàn)來(lái)進(jìn)行驗(yàn)證。

2 實(shí)驗(yàn)驗(yàn)證

該次結(jié)合基礎(chǔ)環(huán)境設(shè)施搭建了實(shí)驗(yàn)平臺(tái)，設(shè)置四組服務(wù)器和存儲(chǔ)磁盤(pán)。服務(wù)器的規(guī)格均為24 核、128 線(xiàn)程及128 GB 內(nèi)存，型號(hào)為NF8480M6；且磁盤(pán)陣列有500 GB 容量，型號(hào)為DS200-N10。在服務(wù)器上，構(gòu)建了NoSQL、Ceph 和Spark 的數(shù)據(jù)環(huán)境，其中Ceph 包含產(chǎn)品的編號(hào)節(jié)點(diǎn)、名稱(chēng)節(jié)點(diǎn)、四個(gè)數(shù)據(jù)節(jié)點(diǎn)（文檔、CAD、pdf、工程）和元數(shù)據(jù)尋址地址。NoSQL 則由一個(gè)路由進(jìn)程、兩個(gè)配置服務(wù)器與七個(gè)數(shù)據(jù)分存節(jié)點(diǎn)構(gòu)成。

文中以CAD 視圖文件為例，首先通過(guò)實(shí)驗(yàn)A 獲取不同航空發(fā)動(dòng)機(jī)CAD 視圖文件在NoSQL 的分類(lèi)處理時(shí)間、寫(xiě)存時(shí)間及數(shù)據(jù)傳輸速度；然后通過(guò)實(shí)驗(yàn)B 獲取CAD 視圖文件在RDB 的存儲(chǔ)和讀取時(shí)間，并將其與實(shí)驗(yàn)A 的數(shù)據(jù)進(jìn)行對(duì)比。

兩組實(shí)驗(yàn)選取的CAD 視圖文件長(zhǎng)度分別為300 kB、656 kB、1.08 MB、1.23 MB、2.33 MB、3.88 MB、4.89 MB、5.53 MB、6.03 MB、7.53 MB、9.68 MB、12.2 MB、14.4 MB、23.5 MB、30.2 MB、35.5 MB、38.8 MB、48.5 MB、54.4 MB 和60.0 MB。重復(fù)進(jìn)行測(cè)試并統(tǒng)計(jì)分類(lèi)處理的時(shí)間、對(duì)比二者的寫(xiě)存時(shí)間和數(shù)據(jù)傳輸速度，結(jié)果如圖4-6 所示。

圖4 視圖文件分類(lèi)處理時(shí)間

圖5 視圖文件寫(xiě)存時(shí)間對(duì)比

圖6 視圖文件數(shù)據(jù)傳輸速度對(duì)比

從圖中可以看出，基于NoSQL 的分布式數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)更適合面向航空發(fā)動(dòng)機(jī)的PDM 系統(tǒng)存儲(chǔ)，該結(jié)構(gòu)的存儲(chǔ)效率和數(shù)據(jù)吞吐量遠(yuǎn)高于基于RDB 的存儲(chǔ)結(jié)構(gòu)。

同時(shí)設(shè)置實(shí)驗(yàn)C，通過(guò)文中設(shè)計(jì)的基于Spark 的MapSearch 函數(shù)讀取上述存儲(chǔ)數(shù)據(jù)，并設(shè)置對(duì)照實(shí)驗(yàn)D，采用文獻(xiàn)[1]中所述指標(biāo)基于Hatoop 的數(shù)據(jù)查詢(xún)函數(shù)得到與實(shí)驗(yàn)C 相同的存儲(chǔ)數(shù)據(jù)，進(jìn)而獲得兩組實(shí)驗(yàn)的讀取時(shí)間和信息重構(gòu)完整性。通過(guò)對(duì)比所得的結(jié)果來(lái)評(píng)估二者的可靠性，具體如圖7-8 所示。

圖7 不同算法下數(shù)據(jù)讀取時(shí)間對(duì)比

圖8 不同算法下的數(shù)據(jù)重構(gòu)完整性對(duì)比

由上述實(shí)驗(yàn)結(jié)果可知，文中所提技術(shù)方案可以實(shí)現(xiàn)對(duì)產(chǎn)品數(shù)據(jù)存取的快速響應(yīng)以及高吞吐量傳輸。相較于傳統(tǒng)的RDB 數(shù)據(jù)庫(kù)，其的平均寫(xiě)存時(shí)間減少了約20%，數(shù)據(jù)的平均傳輸速度提升了約70%。此外，相比于文獻(xiàn)[1]所述方法的讀取時(shí)間也降低了41.6%，而數(shù)據(jù)重構(gòu)完整性的平均值則為92%，由此可見(jiàn)該系統(tǒng)的性能較優(yōu)。針對(duì)航空發(fā)動(dòng)機(jī)制造中的工程數(shù)據(jù)存儲(chǔ)，所提方案能夠有效實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的高效率存儲(chǔ)與實(shí)時(shí)高吞吐量讀取。

3 結(jié)束語(yǔ)

針對(duì)基于RDB 的PDM 系統(tǒng)已無(wú)法滿(mǎn)足產(chǎn)品大數(shù)據(jù)量存儲(chǔ)需求的問(wèn)題，文中提出了一種新型的面向航空發(fā)動(dòng)機(jī)制造PDM 系統(tǒng)的非關(guān)系型數(shù)據(jù)庫(kù)（NoSQL）分布式數(shù)據(jù)存儲(chǔ)技術(shù)方案，該方案可實(shí)現(xiàn)讀取數(shù)據(jù)的快速響應(yīng)及高效存儲(chǔ)。通過(guò)實(shí)驗(yàn)測(cè)試并結(jié)合文獻(xiàn)[1]所述的指標(biāo)驗(yàn)證了該方案的可靠性，因此可以將其運(yùn)用到PDM 系統(tǒng)中作為存儲(chǔ)單元來(lái)協(xié)助航空發(fā)動(dòng)機(jī)制造。