基于大數據分析的在線學習算法理論探究

汪 云 曾 平 謝小義

（天門職業學院 湖北天門 431700）

引 言

隨著科學技術的不斷發展，以大數據、云計算、物聯網為代表的先進科技，逐漸在生活中產生了深遠的影響。熱別是大數據技術，能夠通過對數據的收集、存儲、計算和分析，使數據價值的意義得到充分的發揮，對生活各方面的影響越來越深遠。傳統的大數據計算，采用的是批量計算模式；經過不斷發展，逐漸發展為在線學習計算，其效率得到了顯著的提升，這一過程具有非常重要的現實意義。

一、基于大數據分析的在線學習算法的關鍵

盡管當前基于大數據分析的在線學習算法已經逐漸成熟，但是在以下三個方面還面臨著關鍵的問題。

（一）收斂性較低

對于大數據技術來說，要處理的各種流數據具有非常明顯的隨機性，但是這些隨機性的數據需要對其展開實時處理，并將結果迅速反饋出來；而且絕大多數的流數據僅僅在短時間內有價值，因此通過大數據展開計算和分析的數據，往往只有很少一些能夠保存，而絕大部分會被放棄。因此，針對此類計算，系統必須要具備很高的收斂速度，才能夠確保流數據的價值能夠在其有效期內得到體現[1]。但是當前的在線學習算法，盡管與傳統的批量學習計算相比，其效率已經有了大幅提升，但是其收斂性卻明顯不足，在分析實時流數據方面依然需要持續改進。

（二）可擴展性較低

大數據要處理的流數據是一個非常龐大的數據量，而且在數據源不停止的情況下，數據會持續生成，因此這樣的數據的數量是難以量化的；同時，系統在針對流數據實施計算分析的過程中，由于具有無限多的龐大數據，所以是無法通過硬盤予以存儲的，因此這樣必然會造成流數據管理難度非常高。采用在線學習算法，也無需儲存流數據，而是僅僅就內存中數據實施計算，這就意味著其擴展性相對較低，這對于在線算法的性能來說也是一種嚴重的制約。

（三）自動化工具較少

基于大數據分析的在線學習算法，往往需要在這個過程中對一些格式實施轉化，對相關參數實施優化，然后才能夠更好地滿足計算目標，獲得良好的滿意度。在傳統的批量計算模式下，因為這是一種靜態訓練的分析模式，所以出現了一些自動化工具，并且經過發展已經非常成熟，諸如Libsvm工具，這為批量計算模式提供了諸多便利[2]。然而，隨著在線學習算法的出現，計算遇到的難度更大。既因為數據產生速度過快，又由于數據的生成量過大，而且要實現動態訓練，所以使得傳統的工具都無法適用。因此，適合于在線學習算法的自動化工具非常匱乏，這在一定程度上限制了在線學習算法的應用。

二、幾種基于大數據分析的在線學習算法

（一）在線學習的線性模型

1.感知器的在線學習算法

在當前大數據分析為基礎的在線學習算法中，產生了多種不同的算法，然而就應用范圍來看，感知器的應用是最為廣泛的一種。這是一種屬于機器學習仿生學領域的分類學習機的模型，其算法具有較高的復雜度，在當前機器算法領域中有著非常廣泛的應用。其主要算法原則為[3]：在正確分類的前提下，無需對其權重實施變化，因此對其實施“賞”；在錯誤分類的前提下，則應當對其發生的錯誤予以修正，就是調整其方向，因此應當針對其權重實施“罰”。然后，針對全部錯誤分類樣本，以求和方式實施懲罰，具體可依據如下的算法公式：

從在線學習算法的分類上來看，感知器算法本質上是一種賞罰算法。該算法被廣泛應用于線性可分問題的解決；而且作為一種相對比較基礎的在線學習算法，感知器算法的出現，對于推動及其學習具有非常重要的意義。另外，隨著感知器算法的不斷發展，出現了一種更具收斂性的二階感知器，這是一種可以持續對公式實施更新的計算方法，未來應該有更廣泛的應用前景。

2.在線學習中被動—主動算法

這是一種能夠主動得出全局最優解，并且以此為基礎對其展開驗證并能夠確保其實現的算法模型。這種算法的本質思維，就是在一個樣本的支持向量機的基礎設想，從而使得向量機最大間隔約束得以有效的轉化。此外，該算法的更新采用了如下的機制，當新數據出現錯誤，則會對算法實施更新，以最大程度的避免數據錯誤；當新數據無錯誤，則算法繼續使用無更新。

3.在線稀疏解學習算法

該算法的根本原理是以批量整體訓練為基礎以得到邊界最優值。然而，因為在線學習算法都是以隨機梯度下降法作為訓練方法的，所以在實際應用中結果的稀疏性是非常難以保障的，而通過梯度截取法，則能夠在一定程度上得到有效稀疏解。通常是在過程中，把更新權重都以0賦值，這樣就能夠讓出現的特征數目進一步增加，從而表現出稀疏權重向量。與隨機梯度下降法相比，梯度截取法注意更能夠保障算法的性能[4]。

（二）在線學習的非線性模型

在了解了在線模型的線性模型以后，我們對非線性模型也做一些簡單的介紹。當前，主要的非線性模型有如下的四種方法。第一種是核感知器，這種方法本質上是線性模型中感知器算法的一種升級和發展，是一種基于核函數思想而產生的算法，使得其算法分類能力得到了非常明顯的提升。第二種是核在線被動—主動算法，這同樣是一種基于核函數產生的算法，該算法在批量向量機處理方面顯示了非常強大的能力，然而迄今為止尚未大規模針對實用數據訓練，因此實際應用中還不廣泛。第三種是固定的緩沖器核在線學習算法，這是一種通過對隨機感知器分類錯誤的集合的判斷，當集合狀態充分飽和，則以一個新的將次樣本替換，以確保數據盡可能保持一定穩定性。第四種是核在線梯度下降法，這種方法目前也尚未大范圍推廣應用。

（三）非傳統的在線學習算法

除了上面介紹的各種在線學習算法以外，還有一些非傳統在線學習算法，其中最為典型的有兩種，一種是多任務在線學習，另一種是組LASSO在線學習。前者主要是基于共享信息的前提下實施若干關聯任務的同時學習，因此其效率相對于常規學習方法來說要明顯更高。后者的主要優勢是使用非常便捷，復雜程度相對較低，因此其在學習目標變量選擇方面有較為廣泛的應用。

三、基于大數據分析的在線學習算法的發展趨勢

（一）學習的泛化能力與可理解性的強化

當前大數據領域的研究日新月異，在這樣的發展速度下，我們有理由相信，在未來的發展中，在線學習算法必然會遇到各種各樣的極具挑戰性的問題，而克服這些挑戰性問題就是推動技術持續發展的動力。其中，提升學習泛化能力是在線學習算法的發展中遇到的一大難題之一，而這也是當前在應用領域對于學習算法的最大的期待。就當前學習理論的發展狀況來看，向量機泛化能力技術，基本上都涵蓋了從理論到實踐的全方面。并且，在很多領域中，可理解性對于學習算法同樣具有至關重要的意義。

（二）學習速度與應用能力的提升

在社會的實踐領域，將各種機器學習方法融入其中，從而在提升社會事務效率的同時，也使得機器學習速度得到進一步提升，這是在大數據理論不斷發展以后研究人員追逐的目標。然而，在學習速度和訓練速度之間，如何能夠找到有效的平衡，進而消除二者矛盾，這是一個非常重要的課題。比如，K鄰算法盡管其測試速度相對較差，但是實際應用的速度卻非常理想[5]。傳統學習算法，主要針對標記數據，而在線學習算法將針對所有產生的數據展開，因此其對處理速度有更高的要求；再加上在處理過程中還必然會受到屬性變化、噪聲干擾等影響，因此還需要其具有更強的應用能力，從根本上提升其應用效率。

四、小結

大數據時代的來臨，對于在線學習算法來說，既是一種良好的機遇，又提出了更高的挑戰。所謂機遇，是因為大數據為在線學習算法提供了更優秀的技術支持；所謂挑戰，是因為大數據獨有的諸多特性，顛覆了傳統學習算法，主要是批量機器學習的模式。在無法計量，且不斷生成的大數據模式下，批量機器算法遠遠無法滿足實際計算需求，而在線學習算法當前也還存在著一些問題。基于此，本文針對基于大數據在線學習算法展開總結性的闡述，同時對未來的發展趨勢也作出了分析，筆者希望其有助于我國在線學習算法的不斷發展和推廣應用。