一種基于SOM的多維農業時空數據可視化分析方法

彭俊+盧艷松+夏凱

摘要：隨著“3S”、物聯網等技術逐漸被應用于農業生產過程中，多維農業時空數據大量產生。如何挖掘和分析多維時空數據在時空上的內在價值，對推動現代農業發展有重要意義。針對多維農業時空數據存在維數高，數據關系復雜，難以直接挖掘分析的問題，提出一種基于SOM的多維農業時空數據可視化分析方法。該方法利用SOM算法對多維數據降維，結合數據表、平行坐標系、時空立方體等可視化組件，實現數據的多角度顯示和分析，達到深層次挖掘的目的。基于該方法，設計完成可視化分析平臺，并以美國農產品數據為例，討論該方法的可行性。

關鍵詞：多維數據；時空數據；SOM神經網絡；可視化分析

中圖分類號： S126 文獻標志碼： A 文章編號：1002-1302（2017）20-0244-05

伴隨全球定位系統、遙感技術等技術的不斷突破及在農業領域的廣泛應用，產生了大量多維時空數據。這些數據有效記錄并展示了事物各階段的發展狀況，是一種結構復雜、多層嵌套、具有空間和時態特征的高維數據[1]。由于數據在時間和空間上具有很強的相關性，蘊含巨大的挖掘潛力。如何挖掘和分析這些數據對于精細農業的發展、農業生產的進步及現代社會的發展有著極大的研究意義。

作為探索數據內在隱藏信息的一種手段，時空數據可視化方法通過對多維時空數據進行圖形化表示，能夠全面展示數據基本特征，實現數據之間的交互[2]。當前，多維時空數據的可視化方法除了傳統的2D、3D顯示技術，還可分為基于幾何的技術、基于層次的技術、基于圖標的技術、面向像素的技術和降維映射技術等[3-5]。除了降維映射技術，其他多維時空數據可視化方法多是將數據各個維度直接映射于某一實體，降維映射技術能夠將多維或高維數據投影到二維或三維空間，以數據散點圖顯示數據集的聚類結構和數據分布，并顯示聚類結果類標信息（不同的類可以用數字或顏色區分）[6]。因此被廣泛應用于維度較高、數據量較大的信息可視化。

降維可視化方法關鍵在于降維或映射技術的選擇[7]。當前降維可視化方法主要有主成分分析法、投影尋蹤法、自組織映射法（SOM）和多維標度法等。雷君虎等通過主成分分析法實現對煙用香料圖譜數據進行數據降維和香料分類[8]。閆緒嫻運用投影尋蹤聚類方法對中西部地區2000—2011年自然災害社會易損性時空數據進行3個層面的空間特征和區域差異分析，從而對地區自然災害社會易損性進行綜合評價[9]。芮小平等利用自組織映射降維技術實現了對2003年中國“非典”的多維信息進行數據降維和可視化分析[10]。李權利用Sammon投影（一種典型的多維標度法）將多維數據映射到二維平面，從而實現對海量微博數據進行可視化分析[11]。

本研究采用SOM算法實現對高維數據的降維。原因在于SOM神經網絡實現對數據降維的同時，能保留其拓撲結構不變，從而避免“維數災難”的發生。同時，SOM將輸入數據轉換成數據量較小的矢量數據，數據在被其他投影技術分析和表達的同時，在較少計算量的情況下，能產生良好的投影結果。

考慮到多維數據多包含大量時空信息，單純通過SOM降維可視化技術進行數據可視化，并不能很好地反映當前信息的時空特征。同時，針對某一問題的研究，由于采集數據的屬性維度較多且存在差異性，即使采用多屬性的時空數據可視化表達也無法保證其能夠達到良好的可視化效果。有學者考慮使用多種可視化分析方法集成的模式對時空數據進行可視化分析表達，例如：Andrienko等利用SOM降維數據對美國41年間各州犯罪率時空數據進行降維分類，并在地圖上進行各州犯罪情況的可視化展示，取得了良好的數據挖掘效果，提升了數據分析效率[12]。然而，這種多可視化方法集成的模式更多地還是集中于對原始數據的可視化表達，相互關聯性并不強，且運算量較大，并不能很好地滿足當前對時空數據全面、高效、動態的深入分析和挖掘要求。

針對單一的可視化方法無法滿足時空數據多角度表示和分析的要求，集成的可視化方法更多也僅是對時空數據可視化工具的組合，本質上還是獨立地對時空數據進行表達說明。本研究提出一種基于SOM的多視圖協同可視化分析方法，該方法從對降維數據的可視化角度出發，集成多種可視化分析工具，針對降維后數據進行可視化表達，既解決了傳統可視化分析工具無法對高維多屬性時空數據進行可視化的問題，又做到各表達工具之間的聯動，實現對數據的實時多角度可視化表達和分析，增強分析者對隱藏信息的挖掘能力。本研究以美國農業時空數據為例，搭建基于該方法的動態可視化分析平臺，進行時空數據可視化分析，驗證該方法的可行性，旨在為推進我國精細農業的發展提供依據。

1 基于SOM的降維可視化

1.1 基于SOM的聚類方法

1982年芬蘭學者Kohonen根據人腦的生物學、生理學、心理學的研究成果，提出自組織映射網絡（self-organizing feature map，SOM），別稱kohonen網絡，它是無監督學習的神經網絡[13]。SOM網絡主要面向高維數據，通過降維將數據從完全混亂轉換為整體有序，從而挖掘感興趣的特征。其學習過程是一個競爭過程，即調整一部分輸入數據的權值使得權向量更接近或更偏離輸入矢量，最終使得所有權向量都在輸入空間內相分離，形成各自所代表的一類輸入空間模式。具體算法過程如下：

設有m個輸入樣本，每個輸入樣本有n個屬性，即輸入為n維向量X=（x1，x2，…，xn），從而構成一個二維的神經元輸入層。輸出層由P個神經元節點構成，每個結點與一個權值相聯系。其連接權值wi，j表示第i個輸入神經元節點與第j個輸出神經元節點之間的連接權值。

（1）初始化：為網絡的權向量在[0，1]區間隨機賦予1個值，要求互不相同，從而確定鄰域的初始值。鄰域是指以確定的獲勝神經元為中心包含若干神經元的區域范圍。

（2）接收輸入并尋找獲勝節點：對輸入數據X進行歸一化處理，計算權向量與X之間的歐氏距離，找出最小距離，確定獲勝神經元i。endprint

式中：xi（t）表示t時刻輸入樣本數據值，i（x）即為最匹配神經元。

（3）定義優勝鄰域：以獲勝神經元為中心，確定權值調整值。

式中：ri（x）、rj分別為輸入節點i（x）、j的位置，σ表示鄰域范圍，hj，i（x）（t）為值域函數，表示獲勝神經元周圍的鄰域函數，隨時間單調遞減。

（4）調整權值：對鄰域內所有神經元與輸入層神經元之間的權向量進行修正。

式中：η（t）表示學習速率[0<η（t）<1]，隨時間單調遞減，保證學習過程收斂性。

（5）結束判定：更新學習速率及鄰域，重復上述學習過程，直到對所有樣本進行學習。

最后通過訓練，連接權向量不再進行調整，所得網絡拓撲能夠近似描述輸入向量分布情況，實現模式分類的目的。

1.2 基于SOM的降維可視化

基于SOM的高維數據可視化過程如圖1所示，此前首先需要對輸入的數據集進行預處理，規范其數據結構，保證數據為矩陣形式數據。對數據進行規范處理后，通過SOM神經網絡算法進行數據降維。這個過程中，高維數據將通過降維映射到二維平面的神經元上，自組織映射網絡中的神經元代表所需分析的高維數據，其所在位置能夠反映數據的聚類信息，并保證其拓撲關系不變。然而SOM算法本身并不能將其所分析獲得數據的聚類結構通過圖形的方式展現，必須借助其他可視化方法進行顯示。因此，SOM算法可視化過程的最后一步就是通過自組織映射網絡可視化算法對自組織映射網絡上的神經元進行數學運算，獲得結果再由圖形圖像的形式進行可視化表達。當前，自組織映射網絡的可視化方法使用最多的是U-Matrix算法可視化方法。

U-Matrix算法（unified distance matrix）又稱為統一距離矩陣，由Ultsch等于1990年為了實現對Kohonen提出的SOM算法進行可視化表示而提出。該算法解決了SOM算法無法對聚類結果進行抓取的缺點，在SOM算法保證數據拓撲關系的情況下實現對聚類結構的提取和現實。基于U-Matrix算法的自組織映射網絡可視化方法為一種基于距離度量的方法，其基本結構如圖2所示，為一種二維網絡形式的結構。SOM自組織映射網絡中每個神經元分別對應U矩陣算法中4個網絡節點，節點用于存儲每一神經元與相鄰神經元距離參數值。如節點1存儲a與水平相鄰神經元b的權向量之間距離，節點2存儲a與縱向相鄰神經元c的權向量之間距離，節點3存儲a與對角線相鄰神經元d的權向量之間距離，節點4存儲這3個距離平均值。

考慮到數據進行SOM神經網絡降維聚類后，不同的聚類數據之間相似性較小。通過距離度量表示就是距離越大其差異性越大，數據類型越不同，反之則為同一聚類。這就是 U-Matrix 可視化能夠表達SOM神經網絡聚類結果的主要依據。U-Matrix可視化通過對自組織映射網絡中各神經元的權向量與其相鄰神經元權向量之間進行距離運算獲得運算結果，將之存儲于U-Matrix網絡中，并用不同顏色對數據值進行表示，從而實現對自組織映射網絡中的聚類結構進行分離和顯示[14]。通常，U矩陣二維網格多由六邊形來表示，當U矩陣數值較大，則表示該位置為聚類的邊緣部分，反之則為聚類本身。

2 基于SOM的協同多視圖可視化

協同多視圖可視化方法相較于傳統的基于SOM的降維數據可視化方法，在利用U-Matrix算法可視化實現對其聚類結果拓撲關系顯示的同時，引入平行坐標和時空立方體等可視化工具。前者通過折線為聚類后特征數據的屬性關系進行直觀二維平面可視化表達，補充說明數據各屬性之間的關系。后者利用平面對聚類后特征數據的時空關系進行直觀三維平面可視化展示，補充說明數據在時間和空間維度上特征關系。通過多種工具協同可視化，利用計算機組件實現數據的實時交互，對顏色等特征表示方法進行統一說明，從而增強各可視化工具之間的聯系，達到時空數據多窗口協同效果，能夠實現對高維數據的全方面可視化表達，增強可視化效果。

2.1 平行坐標可視化

作為高維數據在二維平面上較為經典的可視化表達方法，平行坐標（parallel coordinates）由Alfred在1985年提出，平行坐標是基于幾何可視化技術的代表。其基本思想是將n維數據屬性空間通過n條等距離的平行軸映射到二維平臺上，每一屬性維由一條軸線表示，軸線上的取值范圍由對應屬性的最小值到最大值均勻分布[8]。

平行坐標的優點在于能夠通過射影幾何解釋和對偶特征直觀地表達數據之間的關系，而不必使用矢量或其他可視圖標，易于理解。缺點在于隨著數據量的增大，折線密度增大導致大量交疊線，難于辨識[15]。研究對原始數據進行降維，再進行平行坐標可視化，能夠很好地規避其缺點，并充分利用其優勢對多維數據關系進一步補充說明。圖3為基于SOM降維的平行坐標可視化結果，針對SOM降維所得聚類結果，獲得每類中的數據典型作為輸入變量，參考數據抽象、坐標軸交換、維數控制等基于平行坐標的可視化技術，按照數據屬性維度設置平行軸，實現時空數據的可視化表達，并為各分類分配對應顏色，方便觀察分析。

2.2 時空立方體可視化

時空立方體的概念最初于1970年由Hagerstraand提出，主要用于實現對時空路徑的表達[16-17]。如圖4所示，每個平面代表某地理現象在某時間段的變化情況，為一時間平面，由多個時間平面構成時空立方體，以此來表達時空數據的變化[18-19]。其主要優點在于能夠將時空數據在三維的立方體中進行表達，突出表現地理現象隨時間的變化情況。與平行坐標相似，當數據量較大且屬性維度較多時，將造成平面交疊、路徑混亂、多屬性難以表示等問題。通過SOM降維技術對數據進行聚類降維后，數據屬性維度減少，可以利用顏色表示其分類情況，借助地圖等地理顯示工具，完成時空數據表達，展示SOM降維后數據的時空屬性關系，從而實現對高維時空數據的可視化。endprint

3 平臺搭建及試驗效果

3.1 平臺搭建

為驗證時空數據可視化分析方法的實際應用效果，以美國農產品時空數據為例，通過Visio studio 2010平臺，利用C#語言，建立基于SOM的美國農產品時空數據可視化分析平臺。研究平臺主要分為3個模塊，分別為數據層、挖掘層、可視化界面層（圖5）。

數據層用于存儲時空數據，支持各模塊進行數據調用。挖掘層基于SOM的高維數據降維和挖掘進行數據分類，為可視化提供數據基礎。可視化界面層為平臺可視化展示層，用于對數據進行可視化表達。可視化主要包括數據挖掘前后的可視化表示方式2種，前者主要用于對數據進行檢索，通過數據檢索獲取感興趣的數據源，后者主要是對前者選取的數據源進行基于SOM降維聚類后的數據可視化表達。主要表達工具有U-Marrix算法、平行坐標、時空立方體等。

3.2 研究數據源

研究數據源為美國NASS網站的農業調查數據，其原始數據按照年份與地域尺度（州、縣）進行劃分，主要分為農作物、動物及產品、農業經濟、農業環境4部分數據，其中農業經濟數據包括農業資產和農業租借費用兩方面。鑒于原始數據的缺陷，首先對數據進行篩選處理，最終用于本研究的數據源為其農作物數據源。數據主要包含美國50個州2001—2010年19種農產品各自的總面積、總收成及總產量。

3.3 試驗效果

對數據進行歸一化處理后，輸入SOM神經網絡進行數據降維，并對結果進行可視化展示。將可視化流程和平臺設計最終所得可視化結果通過農業時空數據可視化平臺的可視化界面層進行展示，達到數據的多角度顯示和分析的作用，結果如圖6所示。

3.3.1 時空數據視圖窗口 時空數據視圖窗口由時空數據選擇窗口和時空數據表視圖窗口兩部分組成。通過時空數據選擇窗口對最初的多維時空數據進行選擇，并將篩選出的數據以二維表的形式在時空數據表視圖窗口顯示。其目的在于實現用戶與系統之間交互，通過對海量數據的篩選，達到任意時空、屬性維度數據挖掘和分析的目的。本研究按照年份和屬性選擇2001、2003、2005、2007、2009年的大麥、大豆、馬鈴薯、小麥、燕麥的總面積等5個屬性數據，探索其間關系。

3.3.2 SOM神經網絡視圖窗口 SOM神經網絡視圖窗口顯示數據進行SOM神經網絡聚類降維后，進行U-Marrix算法可視化的結果。窗口左圖為U矩陣圖，右圖為labels圖，按照U矩陣圖，灰度深淺表示相鄰區域距離的遠近，顏色大小是權重的多少，labels圖上顯示最為代表性的區域及其時間。2005年亞拉巴馬州的數據（1—2005）和2005年俄克拉何馬州的數據（40—2005）分別最為接近此時權重的代表值。研究基于SOM的神經網絡可視化主要通過Matlab軟件實現，采用混合編程的模式，利用SOM Toolbox作為SOM神經網絡的軟件工具，利用Matlab軟件中Deploytool工具將m函數編譯為 .NET 程序集，再由C#軟件調用。

3.3.3 平行坐標視圖窗口 平行坐標視圖窗口用于對SOM神經網絡視圖窗口中顯示的代表性區域的某年數據信息的補充說明。如在SOM神經網絡視圖顯示的權重最小的2005年俄克拉何馬州數據，其大麥、大豆、馬鈴薯、小麥、燕麥的總面積的參數分別為0、325 000、0、5 700 000、45 000。同時，通過軸線形象化表示，達到最直觀的比較數據參數的目的。如在代表性數據中，大豆、馬鈴薯總面積最大的是2005年愛達荷州（16—2005），燕麥總面積最大的是加利福尼亞州（6—2005）。平臺平行坐標可視化功能直接在VS上由C#中 GUI+界面設計完成。

3.3.4 時空立方體視圖窗口 時空立方體窗口的每一平面代表某一年份以顯示地理空間屬性數據，其區域顏色與SOM神經網絡算法顏色匹配。研究主要通過在VS平臺上應用ArcEngine組件庫，將ArcScene的3D建模移植到平臺窗口，進行時空立方體的構建。通過觀察顏色的變化情況，可直觀看出隨年份的變化各地區顏色變化情況。如俄勒岡州，顏色從2001、2003、2005、2007年的橙色到2009年的綠色；華盛頓州、蒙他拿州、愛達荷州、北達科州等沒有發生顏色的變化。

3.3.5 平臺協同多視圖實現 通過在時空數據視圖窗口對研究數據進行篩選，獲取所需研究數據進行SOM降維，在對降維數據進行可視化表達后，獲得各個窗口的顯示結果，通過對結果進行觀察可獲得數據內在聯系，挖掘有用信息。例如，對時空立方體視圖窗口進行觀察，由圖7可知，南達科他州的顏色變化從2001、2003、2005、2007年的深粉色變成2009年的黃色，同樣的還有南卡羅來納州，其顏色變化從2001、2003、2005、2007年的淺藍色變成2009年的灰藍色，說明2個州在前4年作物種植面積相似，而2009年有一定變化。針對這一現象，對時空數據視窗口顯示的相關數據進行觀察（圖8），發現南達科他州的作物種植面積的確在2009年較前幾年有明顯改變，表現在大麥、燕麥總面積有明顯減少。南卡羅來納州也存在相似情況，2009年大豆總面積有明顯提升。同樣的，對SOM神經網絡視圖窗口所得結果觀察可知，淺藍色在時空數據顯示上最具代表性，數據向2005年亞拉巴馬（1—2005）數據聚攏。這一結論亦可由時空立方體視圖窗口顯示結果觀察獲得：從時空立方體平面圖展示結果來看，2001、2003、2005、2007、2009年作物生產面積上大部分顯示淺藍色。當需要研究這一聚類數據維度關系具體情況時，可通過平行坐標窗口觀察獲得。

總體而言，利用SOM降維技術對高維數據進行聚類降維后，通過U-Marrix算法、平行坐標和時空立方體等可視化工具對時空數據進行協同可視化表達，能夠解決傳統的SOM降維可視化表達對高維時空數據時空關系說明存在的缺陷，清晰展現多維農業時空數據在時間維度上的地理空間變化，說明數據的聚集和分布情況，方便對數據的潛在關系進行挖掘和分析。endprint

4 結論

通過聚類降維算法和多種其他可視化方法的結合使用，實現多視窗協同可視化，克服了單一的可視化方法存在的維度、樣本量限制等問題，較大地提高挖掘效率，為多維時空數據的分析挖掘提供新思路，在對海量農業數據挖掘和分析中，能夠提供良好的技術支持，有利于精細農業的發展和推廣，具有一定的經濟效益和社會效益。然而，不同聚類方法對數據集的拓撲特性擬合能力不同，導致聚類準確性存在差異，同時不同可視化方法數據可視化表達側重點各有不同。對此，針對不同農業數據集，如何尋找合適的聚類降維算法，如何確定其拓撲分布，判斷其聚類準確性，選用合適可視化工具展示其時空關系，值得進一步研究。

參考文獻：

[1]鐘運琴，方金云，趙曉芳. 大規模時空數據分布式存儲方法研究[J]. 高技術通訊，2013，23（12）：1219-1229.

[2]齊 志. 基于SOM神經網絡的聚類可視化方法研究[D]. 長春：東北師范大學，2009.

[3]李 楊，郝志峰，謝光強，等. 質量度量指標驅動的數據聚合與多維數據可視化[J]. 智能系統學報，2013，8（4）：299-304.

[4]楊彥波，劉 濱，祁明月. 信息可視化研究綜述[J]. 河北科技大學學報，2014，35（1）：91-102.

[5]Thakur S，Hanson A J. A 3D visualization of multiple time series on maps[C]. Proceedings of the Proceedings of the International Conference Information Visualisation，2010：336-343.

[6]劉 芳，Tian K，Zhou Z G，et al .基于SOM聚類的可視化方法及應用研究[J]. 計算機應用研究，2012，29（4）：1300-1303，1306.

[7]王開軍. 多維數據的聚類結果可視化技術綜述[J]. 福建師范大學學報（自然科學版），2012，28（4）：115-124.

[8]雷君虎，楊家紅，鐘堅成，等. 基于PCA和平行坐標的高維數據可視化[J]. 計算機工程，2011，37（1）：48-50.

[9]閆緒嫻. 中西部地區自然災害社會易損性空間特征分析[J]. 經濟地理，2014，34（5）：34-40.

[10]芮小平，張立強. 基于SOM的多維信息可視化研究[J]. 應用基礎與工程科學學報，2011，19（3）：379-388.

[11]李 權. 面向多維數據及微博社交網絡的可視分析技術的研究[D]. 北京：清華大學，2012.

[12]Andrienko G，Andrienko N，Bremm S，et al. Space-in-time and time-in-space self-organizing maps for exploring spatiotemporal pattens[J]. Computer Graphics Forum，2010，29（3）：913-922.

[13]Obu-Cann K，Fujimura K，Tokutaka H. Data ming of power transformer database using self-organising maps[J]. Proceedings of ICU International Conferences on Info-tech and Info-net，2001，18（4）：44-49.

[14]Vesanto，Alhoniemi E. Clustering of the self-organizing map[J]. IEEE Transactions on Neural Networks，2000，11（3）：586-600.

[15]孫 揚，唐九陽，湯大權，等. 改進的多變元數據可視化方法[J]. 軟件學報，2010，21（6）：1462-1472.

[16]Qi F，D Fei. Tracking and visualization of space-time activities for a micro-scale flu transmission study[J]. International Journal of Health Geographics，2013，12（1）：6.

[17]Gatalsky P，Andrienko N，Andrienko G. Interactive analysis of event data using space-time cube[C]. Proceedings Eighth International Conference on IEEE，2004：145-152.

[18]Hadlak S，Tominski C，Schulz H J，et al. Visualization of attributed hierarchical structures in a spatiotemporal context[J]. International Journal of Geographical Information Science，2010，24（10）：1497-1513.

[19]吳正升，胡 艷，何志新. 時空數據模型研究進展及其發展方向[J]. 測繪與空間地理信息，2009，32（6）：15-17，21，24.endprint