煙草近紅外光譜分析網(wǎng)絡化及其應用進展

王家俊，楊家紅，邵學廣

(1.云南中煙工業(yè)有限責任公司，云南 昆明 650221；2.湖南師范大學 信息科學與工程學院，湖南 長沙 410081；3.南開大學 化學學院，天津 300071)

1 近紅外光譜分析網(wǎng)絡化沿革

近紅外譜區(qū)早在1800年由英國物理學家、天文學家Herschel觀察發(fā)現(xiàn)[1]，但1938年后人們才開始近紅外光譜的分析探索工作[2]，首次實際應用為1960年Norris等[3]通過濾光片近紅外結(jié)合多元線性回歸(MLR)方法測定農(nóng)產(chǎn)品中水分、蛋白質(zhì)等含量，并提出了光譜的Norris導數(shù)濾波法。20世紀70年代中期，光柵型近紅外光譜儀開始應用[4]，但由于近紅外光譜吸收譜帶寬、重疊嚴重、吸收信號弱、靈敏度低、抗干擾性差等使人們淡漠了其應用。自20世紀70年代初，Wold等[5]提出將化學計量學作為一門學科，此后，隨著計算機技術(shù)、化學計量學及儀器分析技術(shù)的發(fā)展與融合，人們重新認識了近紅外光譜的價值，近紅外光譜分析技術(shù)、化學計量學方法開始在農(nóng)業(yè)、食品、飲料、石油、材料、制藥和醫(yī)學等領(lǐng)域得到了廣泛研究與應用[6-10]。基于近紅外光譜分析技術(shù)的優(yōu)勢，加之計算機網(wǎng)絡技術(shù)的興起，丹麥較早地實踐了“近紅外+網(wǎng)絡技術(shù)”對谷物的品質(zhì)分析與質(zhì)量管理。此后，法國、德國和瑞典等國家也相繼構(gòu)建了谷物品質(zhì)近紅外光譜分析網(wǎng)絡系統(tǒng)，并成立了相關(guān)實驗室、網(wǎng)管中心等一些技術(shù)運維服務機構(gòu)，入網(wǎng)儀器主要為FOSS、Perten的近紅外光譜儀。1998年，Davies[11]稱近紅外光譜技術(shù)將成為光譜分析中“從沉睡者變?yōu)榱藛⒚餍恰钡募夹g(shù)，McClure[12]在評述204年(1800～2003年)近紅外光譜分析技術(shù)的歷史發(fā)展中認為，近紅外光譜技術(shù)已經(jīng)成熟，已成為解決眾多領(lǐng)域分析問題的引人注目的工具。

雖然我國近紅外光譜分析技術(shù)的研究起步較晚，但發(fā)展十分迅速，從2006年北京召開的全國第一屆近紅外光譜學術(shù)會議至2018年在昆明召開的全國第七屆近紅外光譜學術(shù)會議暨亞洲第六屆近紅外光譜學術(shù)會議可以看出，無論是近紅外光譜儀器研制、化學計量學理論研究及其軟件開發(fā)、近紅外光譜分析網(wǎng)絡化研究，還是近紅外光譜分析技術(shù)在農(nóng)業(yè)、石化、糧食、食品、煙草、紡織和制藥等領(lǐng)域的應用，均獲得了長足的發(fā)展[13-16]。國內(nèi)近紅外光譜分析網(wǎng)絡化研究始于2001年中國農(nóng)業(yè)大學嚴衍祿團隊率先研發(fā)的“中國農(nóng)業(yè)近紅外光譜分析技術(shù)及網(wǎng)絡系統(tǒng)”；2008年，國家農(nóng)業(yè)信息化工程研究中心聯(lián)合有關(guān)高等院校及科研院所，構(gòu)建了涵蓋我國糧食主要產(chǎn)區(qū)的谷物近紅外光譜分析網(wǎng)絡系統(tǒng)，入網(wǎng)儀器均為FOSS Infratec1241近紅外光譜儀，同時設立參比實驗室、網(wǎng)管中心等運維部門，該系統(tǒng)結(jié)合GPS/GIS(全球衛(wèi)生定位系統(tǒng)/地理信息系統(tǒng))技術(shù)對我國主要產(chǎn)區(qū)的小麥品質(zhì)分布進行監(jiān)測，并建立了小麥品種鑒別、產(chǎn)地識別的模型，應用于指導谷物收購[14]，該系統(tǒng)的建立為“近紅外光譜分析+互聯(lián)網(wǎng)”模式的拓展應用起到了積極的示范作用。

綜上所述，近紅外分析技術(shù)離不開相關(guān)新技術(shù)、新方法的融合應用。云技術(shù)、網(wǎng)絡技術(shù)和高速通訊技術(shù)的發(fā)展，為近紅外光譜分析技術(shù)網(wǎng)絡化搭建嶄新的平臺提供了可能。

2 煙草近紅外光譜分析網(wǎng)絡化

2.1 煙草近紅外光譜分析網(wǎng)絡系統(tǒng)的構(gòu)建與應用

在國內(nèi)煙草行業(yè)，近紅外光譜法的應用研究始于20世紀90年代中后期，研究者應用近紅外光譜對煙草中水分和一些主要化學成分進行了定量分析[17-19]。云南紅河卷煙廠于2002年建立了生產(chǎn)現(xiàn)場近紅外光譜實驗室，將其應用于烤煙收購的現(xiàn)場質(zhì)量控制、后續(xù)煙葉倉儲醇化質(zhì)量跟蹤分析，以及輔助材料(如卷煙紙)質(zhì)量控制和卷煙生產(chǎn)過程質(zhì)量監(jiān)測等方面[20-26]。近紅外光譜分析技術(shù)已成為重要的煙草質(zhì)檢質(zhì)控手段之一。近幾年，隨著煙草企業(yè)的聯(lián)合重組與整合，對煙葉原料品類多樣化提出了更高要求，為解決煙葉原料質(zhì)量信息的快速交換與共享，掌控不同產(chǎn)地煙葉原料的質(zhì)量狀況，實現(xiàn)原料的統(tǒng)籌優(yōu)化與合理應用提供技術(shù)支持，2015年云南中煙以“互聯(lián)網(wǎng)+近紅外光譜分析”的基本模式構(gòu)建了以原料研究為導向的煙葉原料近紅外分析網(wǎng)絡系統(tǒng)，該系統(tǒng)主要由以下3個部分構(gòu)成：

(1)近紅外光譜分析網(wǎng)絡實驗室：每一個網(wǎng)點的近紅外光譜分析網(wǎng)絡實驗室是整個網(wǎng)絡系統(tǒng)的數(shù)據(jù)“發(fā)源地”，依據(jù)相應的實驗室規(guī)范(包含近紅外校正模型建立、驗證、應用和維護的技術(shù)標準等)運行，保障近紅外光譜分析數(shù)據(jù)的可靠性和準確性。實驗室是網(wǎng)絡系統(tǒng)的“感知層”，其主要功能是實現(xiàn)各廠(復烤公司)的初烤烤煙、復烤片煙和庫存片煙等煙葉原料主要化學成分指標的快速檢測，并上傳數(shù)據(jù)。

(2)網(wǎng)絡平臺：基于WebService服務架構(gòu)，采用Hadoop生態(tài)圈/Oracle數(shù)據(jù)庫等技術(shù)，集成各網(wǎng)點近紅外光譜實驗室檢測的數(shù)據(jù)信息及其相應的質(zhì)量屬性數(shù)據(jù)。該平臺是系統(tǒng)的“網(wǎng)絡層”，其主要功能是采用Web模式，實現(xiàn)各網(wǎng)點的數(shù)據(jù)上傳下載，以及用戶查詢和在線統(tǒng)計分析等。

(3)數(shù)據(jù)挖掘分析技術(shù)子系統(tǒng)：針對煙草近紅外光譜分析數(shù)據(jù)的特點，該子系統(tǒng)集成了化學計量學的光譜處理方法、多元定量分析方法和模式識別定性分析方法，其主要功能是對煙葉原料質(zhì)量屬性、化學成分數(shù)據(jù)進行深入挖掘分析，探索煙葉原料的品質(zhì)類別、質(zhì)量變化趨勢和規(guī)律。該子系統(tǒng)主要面向高級用戶。

該系統(tǒng)5年來，基于網(wǎng)絡平臺，各網(wǎng)點實驗室的規(guī)范化運行，實現(xiàn)了原料檢測數(shù)據(jù)的交換和共享，為評估烤煙收購質(zhì)量，合理組配復烤模塊單元，提供了即時的數(shù)據(jù)支持；在產(chǎn)品開發(fā)和維護方面，針對性使用煙葉原料，研發(fā)新產(chǎn)品配方、優(yōu)化配伍和維護產(chǎn)品質(zhì)量穩(wěn)定發(fā)揮了積極的輔助作用，系統(tǒng)功能基本達到了設計預期。然而，為進一步探索分析煙葉原料品質(zhì)類別、配方模塊(單元)相似性、質(zhì)量變化趨勢和規(guī)律，在綜合利用近紅外光譜數(shù)據(jù)、理化性質(zhì)數(shù)據(jù)和一些與質(zhì)量相關(guān)的半結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)時，由于集成的常規(guī)性質(zhì)數(shù)據(jù)維度有限，滿足不了質(zhì)量表征的需求，加之，在網(wǎng)絡平臺上面對大量的數(shù)據(jù)處理分析，傳統(tǒng)的化學計量學定性定量建模計算模式難以適應，制約了多變量數(shù)據(jù)(如光譜)的深入挖掘和挖掘效率。

圖1 MSPC與SPC的比較Fig.1 Comparison of MSPC and SPC

2.2 系統(tǒng)存在的不足與解決思路

2.2.1 近紅外光譜儀的差異與光譜標準化煙草可視為一種多成分復雜化學體系的天然作物，迄今為止，從煙草中鑒定出來的化學成分多達5 500余種。煙草質(zhì)量與這些化學成分的相關(guān)性尚未研究清楚，通常采用的常規(guī)化學成分指標(如煙堿、總氮、總糖、還原糖、鉀、氯、灰分和pH值等)因其成分指標有限，在評估煙草整體質(zhì)量特征時存在不足，普遍認為，煙草在燃吸時的整體質(zhì)量特征是煙草中這些復雜成分相互協(xié)同作用的結(jié)果。在近紅外光譜定量分析中，煙草近紅外光譜包含大量潛在的物質(zhì)組成信息尚未充分利用，不同質(zhì)量特征的煙草具有自身的特征近紅外光譜，應用適當?shù)幕瘜W計量學模式識別方法，如PLS-DA(偏最小二乘判別分析法)、SIMCA(簇類獨立軟模式分類法)等結(jié)合近紅外光譜挖掘煙草的整體質(zhì)量特征歸屬，對尋求質(zhì)量特征相似或相近的替代原料，保障規(guī)模化產(chǎn)品制造穩(wěn)定的原料供給有著不可或缺的輔助作用。再如，通過近紅外光譜建立多變量統(tǒng)計過程控制(MSPC)類模型，用于監(jiān)測成品煙絲或中間配方單元的過程質(zhì)量的穩(wěn)定性，比單變量(如水分、溫度、填充值等)統(tǒng)計過程控制(SPC)具有顯著優(yōu)勢，如圖1中樣品1和3的穩(wěn)定性異常情況，在變量1和變量2的SPC范圍內(nèi)屬正常，但通過MSPC就可被監(jiān)測出來。

倘若只需測定性質(zhì)數(shù)據(jù)入網(wǎng)，不管是何種類型光譜儀，參考相關(guān)近紅外多元校正定量分析技術(shù)標準，只要建立有效的校正模型，保證近紅外測定的性質(zhì)數(shù)據(jù)與參考方法測定的數(shù)據(jù)無顯著差異或滿足用戶預期即可。但若想進一步挖掘近紅外光譜中的潛在信息(如整體性、模糊性表征不同產(chǎn)地之間的烤煙質(zhì)量特征歸屬)，光譜數(shù)據(jù)采集的“標準化”就特別重要。這就要求網(wǎng)絡化環(huán)境中的近紅外光譜儀必須具有優(yōu)良的光學特性，儀器之間的差異最小，保證對不同產(chǎn)區(qū)網(wǎng)點的近紅外光譜儀測量的光譜數(shù)據(jù)進行分析時，儀器的差異不會造成明顯影響。但事實上，即使是同一廠家同一型號同一個批次生產(chǎn)的光譜儀也很難實現(xiàn)這一目標。近紅外光譜儀之間的差異是進行網(wǎng)絡數(shù)據(jù)共享、挖掘光譜數(shù)據(jù)信息面臨的問題之一。降低或消除不同臺(套)儀器測量同一組樣品時造成的光譜差異，可通過兩種途徑來解決，一是“軟拷貝”，即借鑒模型轉(zhuǎn)移的化學計量學方法，根據(jù)兩臺儀器測量的光譜之間的差異，建立一個光譜的數(shù)學關(guān)系，然后通過這個數(shù)學關(guān)系校正光譜，使兩臺儀器測量的光譜盡量相似；二是 “硬拷貝”，即通過儀器廠商提升儀器制造水平，降低儀器之間的差異，特別是不同批次生產(chǎn)的儀器之間的差異，使其測量的光譜盡量相似，差異盡量最小，不會對后續(xù)直接拷貝應用光譜數(shù)據(jù)造成明顯的影響。作為網(wǎng)絡用戶來說，后者的解決方案尤為理想。例如，對置于不同生態(tài)產(chǎn)區(qū)的近紅外檢測網(wǎng)點，如云南地區(qū)生態(tài)多樣、氣候立體，使用紅河產(chǎn)區(qū)或昭通產(chǎn)區(qū)的烤煙樣品建立校正模型，相互不適應。這是因為兩產(chǎn)地樣品的近紅外光譜在主成分分析(PCA)的主成分空間中存在異常的聚類，相互轉(zhuǎn)移模型，必須添加當?shù)氐拇硇詷悠罚瑒h除不必要的異常聚類的異地樣品，才能保證模型的適應性，若要兼顧對產(chǎn)地間烤煙的光譜進行定性分析，判斷質(zhì)量的相似性，“硬拷貝”實現(xiàn)光譜數(shù)據(jù)的一致性比“軟拷貝”有優(yōu)勢，且近紅外檢測網(wǎng)點越多，優(yōu)勢越明顯。但“硬拷貝”需儀器生產(chǎn)制造中執(zhí)行嚴格統(tǒng)一的標準，在實際執(zhí)行中存在一定困難。“軟拷貝”是針對儀器間的差異建立光譜的校正模型，執(zhí)行起來相對較容易，這是因為實現(xiàn)“軟拷貝”的核心是根據(jù)兩臺儀器光譜之間的差異建立一個光譜的數(shù)學關(guān)系，即校正模型(稱為轉(zhuǎn)移模型)使兩臺儀器的光譜盡量相似。目前模型轉(zhuǎn)移的化學計量學方法已比較成熟，如PDS(分段直接標準化)、SST(光譜空間轉(zhuǎn)化)以及基于雙模型的方法[27-29]等已基本能滿足實際應用的需要。當然，“軟拷貝”需建立任意兩臺儀器間的轉(zhuǎn)移模型，當網(wǎng)絡系統(tǒng)儀器臺數(shù)較多時會給實際工作帶來不便。

圖2 煙草校正樣本集的近紅外方差光譜示意圖Fig.2 NIR variance spectrum of tobacco calibration sample set

近紅外光譜應用于煙草或類似煙草的天然產(chǎn)物的定量或定性分析在中低頻段(6 000～4 000 cm-1)隱含的信息最多(圖2)，這些譜段或所包含的波長對建模的貢獻最大。因此，較寬的波段或全譜的近紅外光譜儀若能通過“硬拷貝”實現(xiàn)光譜數(shù)據(jù)采集的標準化，是近紅外光譜分析網(wǎng)絡化的重要基礎(chǔ)。

2.2.2 建模效率低與自動優(yōu)化建模通常，在建立樣本數(shù)量大于3 000個以上的近紅外光譜校正模型時，樣本量越大，涉及高維矩陣運算的速度越慢，對計算機性能的要求越高。且在建模過程中，如組織訓練集或校正樣本集、清洗異常樣本、篩選適宜的建模數(shù)據(jù)等基本為基于“文件夾”來操作完成，對網(wǎng)絡環(huán)境中大體量的數(shù)據(jù)資源，因缺乏探索性數(shù)據(jù)分析的網(wǎng)絡計算手段而難以充分利用，導致傳統(tǒng)的建模方式和流程效率低、適應性差。利用網(wǎng)絡資源進行化學計量學網(wǎng)絡計算，研究者進行了各種嘗試，早在2009年，為了充分利用網(wǎng)絡閑置資源，Sim等[30]從化學信息學角度論述了網(wǎng)格計算，但其可能屬于“學院派風格”，難以推廣應用于企業(yè)，幸運的是現(xiàn)代云計算技術(shù)為化學計量學計算研究搭建了高靈活性平臺。如何利用諸如Hadoop、Spark等生態(tài)圈技術(shù)[31]，通過分布式計算提升定性、定量建模效率，并結(jié)合長期積累的建模經(jīng)驗、知識(包含相關(guān)的波長或波段選擇、光譜預處理方法及其經(jīng)驗參數(shù)設置、模型誤差水平控制等)實現(xiàn)自動化建模，這是分析工作者要聯(lián)合網(wǎng)絡計算專家實現(xiàn)近紅外光譜分析網(wǎng)絡化云計算所需解決的問題。顯然，把傳統(tǒng)的近紅外光譜定量、定性分析涉及的訓練集樣本或校正集樣本的篩選、光譜預處理、建模等化學計量學方法(算法)網(wǎng)絡化，開發(fā)分布式計算的化學計量學軟件系統(tǒng)，共享應用網(wǎng)絡軟、硬件資源優(yōu)勢，平衡計算負載，實現(xiàn)近紅外光譜分析的云計算，可能是一種較好的解決思路。

Hadoop系統(tǒng)中基于Google GFS(Google File System)實現(xiàn)的HDFS(Hadoop Distributed File System)解決了海量數(shù)據(jù)的存儲問題。近幾年來，數(shù)據(jù)密集型計算框架不斷出現(xiàn)，從開始離線的MapReduce，到擅長迭代計算的Spark，流數(shù)據(jù)處理框架Storm，分布式存儲數(shù)據(jù)庫HBase等，可以將多個系統(tǒng)部署到統(tǒng)一集群中，共享集群資源并統(tǒng)一調(diào)度和使用。整個分布式處理主要包括數(shù)據(jù)收集子系統(tǒng)(Scribe、Chukwa、Flume)、消息隊列管理子系統(tǒng)(RabbitMQ、ZeroMQ、Kafka)、流式數(shù)據(jù)處理子系統(tǒng)(Storm、Samza、Flink、Spark Streaming)和數(shù)據(jù)存儲子系統(tǒng)(HBase、Redis)4個子系統(tǒng)[32]，每個子系統(tǒng)均有不同的開源構(gòu)架。

Hadoop平臺在進行海量數(shù)據(jù)分析時，響應時間往往達到小時級。Spark數(shù)據(jù)處理是建立在統(tǒng)一抽象的RDD(Resilient Distributed Dataset)之上，并以基本一致的方式應對各種數(shù)據(jù)處理場景，包括MapReduce、SQL查詢、流計算、機器學習以及圖計算等。RDD是一個容錯的、并行的數(shù)據(jù)結(jié)構(gòu)，可以顯式地將數(shù)據(jù)存儲到磁盤和內(nèi)存中，并能控制數(shù)據(jù)的分區(qū)。RDD通過提供包括Map、FlatMap、Filter等算子來完成數(shù)據(jù)預處理(數(shù)據(jù)抽取、轉(zhuǎn)換及加載)、特征工程及最終提供數(shù)據(jù)服務，如數(shù)據(jù)挖掘中的模型訓練、預測等。研究表明，Spark可以比傳統(tǒng)Hadoop提高2～8倍的計算性能[33]，采用Spark的近紅外光譜分析分布式處理構(gòu)架見圖3。

圖3 采用Spark的近紅外光譜分析分布式處理構(gòu)架示意圖Fig.3 Distributed processing architecture of NIRS analysis by Spark

YARN是一種通用的資源管理系統(tǒng)，基本思想是將資源管理和作業(yè)控制分為兩個獨立進程，有一個全局的資源管理器(RM)負責資源分配和調(diào)度，每一個具體應用如PCA、KNN(K最鄰近分類法)等有一個特有的Application Master(AM)負責應用程序管理，資源管理器和節(jié)點管理器(Node Manager)構(gòu)成整個數(shù)據(jù)計算框架。YARN可提供如FairScheduler、Capacity Scheduler等多種直接調(diào)度器。基于YARN的近紅外分布式處理工作流程見圖4。DMLC-Core可實現(xiàn)分析算法處理進程(job)的提交，完全不用考慮集群數(shù)據(jù)讀寫、進程管理等問題。Rabit是一種可容錯的AllReduce，很好地解決了機器節(jié)點的故障問題，可應用于MPI、SGE、YARN等多個平臺。例如在采用梯度下降進行線性模型訓練，在每一輪訓練中，每個節(jié)點分別進行梯度計算得到梯度增量Δw，將Δw通過AllReduce樹形結(jié)構(gòu)由根節(jié)點進行匯總，然后更新w，并將更新的w下發(fā)到每個節(jié)點上，然后開始下一輪訓練。

圖4 基于YARN的近紅外光譜分析工作流程示意圖Fig.4 NIRS analysis workflow based on YARN

PCA是數(shù)據(jù)處理中廣泛應用的降維算法，對于樣本矩陣(n×p型，p遠小于n)，計算PCA的最好方法是先計算出所有統(tǒng)計量(時間復雜度為O(p2n))，再對相關(guān)系數(shù)矩陣或協(xié)方差矩陣(p×p型)進行SVD分解(時間復雜度為O(p3))。以Spark中RowMatrix類型的分布式矩陣為例來說明分布式PCA算法的具體流程(見圖5)。首先將從HDFS文件系統(tǒng)讀入的數(shù)據(jù)轉(zhuǎn)換為DenseMatrix類型的矩陣A1，矩陣A1的各個光譜列向量L1，L2，…，Lp鏈接在一個數(shù)組上從而構(gòu)造成“向量數(shù)組”結(jié)構(gòu)，再放入RDD中對每個列向量并行地求解所需表征的列向量均值、方差等統(tǒng)計量，進而對每一個列向量進行標準化處理，這些存在于RDD中的列向量將會被重構(gòu)成RowMatrix類型的矩陣A2，求矩陣A2的格拉姆矩陣，進而求得矩陣A2的協(xié)方差矩陣，再使用ScalaNLP的SVD方法求解特征值、特征向量，最后根據(jù)這些統(tǒng)計參數(shù)得到分布式光譜矩陣列向量L1，L2，…，Lp的主成分分量。分布式PCA算法[34]不僅可實現(xiàn)帶標準化的PCA功能，并且表現(xiàn)出良好的算法性能，適用于大型數(shù)據(jù)集的PCA運算。

圖5 基于Spark的PCA算法流程示意圖Fig.5 Workflow of PCA algorithm based on Spark

2.2.3 數(shù)據(jù)挖掘效率與中心云、邊緣云構(gòu)建云計算服務是一種集中式服務，所有數(shù)據(jù)均通過網(wǎng)絡傳輸?shù)皆朴嬎阒行倪M行處理。資源的高度集中與整合使得云計算具有很高的通用性，然而，面對物聯(lián)網(wǎng)設備和數(shù)據(jù)的爆發(fā)式增長，基于云計算模型的聚合性服務逐漸顯露出其在實時性、網(wǎng)絡制約、資源開銷和隱私保護上的不足。邊緣計算是一種在網(wǎng)絡邊緣執(zhí)行計算任務的新型計算模型，相比于云計算模型，能夠更加迅速、可靠和節(jié)能地響應用戶需求。數(shù)據(jù)在本地處理也可以提升用戶隱私保護程度。另外，邊緣計算減小了服務對網(wǎng)絡的依賴，在離線狀態(tài)下也能夠提供基礎(chǔ)業(yè)務服務。近紅外光譜分析邊緣計算部署見圖6。

圖6 近紅外光譜分析邊緣計算部署示意圖Fig.6 Edge computing for NIRS analysis

在近紅外光譜定性、定量建模或后續(xù)的各種數(shù)據(jù)挖掘?qū)嶋H應用中，涉及的資源可以來自“中心云”或“邊緣云”。如對各大產(chǎn)區(qū)煙草質(zhì)量進行整體性比照分析、探索各大煙區(qū)煙草質(zhì)量特征、支持原料生產(chǎn)基地系統(tǒng)規(guī)劃會用到中心云的數(shù)據(jù)資源；如對某個產(chǎn)區(qū)煙草歷時性數(shù)據(jù)作趨勢分析、探索煙草質(zhì)量的穩(wěn)定性與變化走向、輔助基層植煙區(qū)改進或調(diào)整生產(chǎn)措施會用到“邊緣云”的數(shù)據(jù)資源。所以，作為云計算的補充構(gòu)建“邊緣云”與邊緣計算具有較好的實用性。

3 煙草近紅外光譜分析網(wǎng)絡化的應用前景

近紅外光譜分析技術(shù)應用至今，為企業(yè)從原輔材料到產(chǎn)品的質(zhì)量管控帶來豐厚經(jīng)濟效益的同時，積累了海量的近紅外光譜分析數(shù)據(jù)和與之相關(guān)的質(zhì)量屬性、特征數(shù)據(jù)(包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))，為大數(shù)據(jù)分析提供了基礎(chǔ)性數(shù)據(jù)；伴隨物聯(lián)網(wǎng)、云計算和邊緣計算等技術(shù)的興起，憑借近紅外光譜分析自身的技術(shù)優(yōu)勢，基于“近紅外光譜分析+互聯(lián)網(wǎng)”模式的近紅外光譜網(wǎng)絡分析方法將會逐步建立，如何構(gòu)建近紅外光譜網(wǎng)絡分析方法，并結(jié)合行業(yè)領(lǐng)域知識以及長期積累培育的歷史數(shù)據(jù)，挖掘?qū)ζ髽I(yè)有價值的信息，對原料的規(guī)模化精細化生產(chǎn)種植、原輔材料的應用優(yōu)化選擇、產(chǎn)品配方設計和過程質(zhì)量監(jiān)測等，將發(fā)揮越來越重要的輔助作用，以下幾方面是未來值得關(guān)注的研究課題：

(1)基于分布式架構(gòu)的適合于近紅外光譜數(shù)據(jù)、質(zhì)量屬性、質(zhì)量特征數(shù)據(jù)(結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))以及與相關(guān)業(yè)務數(shù)據(jù)的大數(shù)據(jù)云平臺的設計開發(fā)。其主要目的是從煙草的產(chǎn)地生態(tài)環(huán)境、等級、品種以及相應的近紅外光譜、理化性質(zhì)(包含煙葉的形態(tài)形狀圖像、化學成分指標等)數(shù)據(jù)中，分析挖掘與感官質(zhì)量相關(guān)的特征信息，服務于煙葉原料的精細化種植及科學合理應用。煙草大數(shù)據(jù)云平臺兼顧云計算和數(shù)據(jù)存儲的功能，包括基礎(chǔ)架構(gòu)，數(shù)據(jù)的采集、存取、處理、統(tǒng)計分析，價值信息挖掘，模型預測和結(jié)果展示等方面。可面向服務對象的規(guī)模、復雜程度部署“中心云”和“邊緣云”，有利于集約化網(wǎng)絡資源，提升數(shù)據(jù)的統(tǒng)計分析處理以及數(shù)據(jù)挖掘的效率。

(2)基于云平臺的近紅外光譜自動化(智能)建模系統(tǒng)設計與開發(fā)。主要目的是將傳統(tǒng)的近紅外光譜定性、定量分析的化學計量學方法(算法)網(wǎng)絡化，開發(fā)分布式計算的化學計量學系統(tǒng)，并融合長期積累的建模經(jīng)驗、煙草領(lǐng)域知識，共享網(wǎng)絡軟、硬件資源優(yōu)勢，實現(xiàn)近紅外光譜分析自動化建模，這無論是對近紅外光譜定性定量分析的普通用戶，還是對近紅外光譜數(shù)據(jù)進行深度挖掘的高級用戶，均具有較好的便利性和實用性。

(3)基于云計算、邊緣計算的化學計量學模式識別技術(shù)的質(zhì)量屬性、特征模式分析的網(wǎng)絡搜索引擎設計與開發(fā)。其主要目的是利用近紅外光譜構(gòu)建的質(zhì)量特征類模型，搜索網(wǎng)絡共享資源(“中心云”或“邊緣云”)中具有相近或相似質(zhì)量特征的近紅外光譜(樣本)，即在網(wǎng)絡共享資源中“淘寶”，尋求在產(chǎn)品制造中煙葉原料的替代應用，保障產(chǎn)品質(zhì)量的穩(wěn)定。搜索引擎形式類似“百度”或“Google”，在利用類模型進行搜索時，具有較強的云計算或邊緣計算功能。

(4)滿足不同應用場景的APP、微信小程序、公眾號等互聯(lián)網(wǎng)+應用的設計與開發(fā)。其主要功能和目的是針對不同應用場景或職能部門，利用中心云數(shù)據(jù)或邊緣云數(shù)據(jù)進行一些簡單的在線統(tǒng)計分析計算，并對結(jié)果進行可視化展示，如原料生產(chǎn)部門可快速實現(xiàn)對煙葉質(zhì)量指標的比較，分析煙葉質(zhì)量的穩(wěn)定性、質(zhì)量變化趨勢等。