基于大數據技術的股票投資應用

呂建林

（上海工程技術大學 管理學院，上海 20162）

一、研究問題

（一）研究背景和意義

大數據技術的出現和大規模興起極大程度地改善了人們的生活方式。早在2014年，百度公司構建了包含歷年命題數據、互聯網用戶歷年相關數據以及眾多教育機構對于命題方向所作出的預測數據等眾多信息數據在內的龐大數據池，并對數據池內的所有數據進行專業的處理和分析，最終成功預測命中了當年全國十八套高考語文試卷中的十二套的作文題目。而同樣在當年，谷歌公司也廣泛收集參加了2014年巴西世界杯決賽階段的三十六支球隊的過往戰績、球員俱樂部表現數據以及包含氣候因素、地理因素等信息在內的所有可能會對比賽結果產生影響的數據，并經過對這些數據的集中處理和分析，最終成功預測了當屆世界杯的十六強以及八強具體名單。而在股票投資領域，大數據技術的使用更是讓投資者們作出的投資策略更加科學、合理。

投資者在使用大數據技術對股票投資策略進行研究時，數據庫所要包含的數據可以分為兩類，即非結構化數據和結構化數據。非結構化數據是類如地理位置、社交行為以及用戶上網行為等還沒有被具體量化的信息數據，而結構化數據指的是已經被廣泛用在傳統量化分析的類如市值、GDP、CPI、市場交易量等較為專業的信息數據。

在大數據時代，云計算等信息技術的出現和應用為大數據技術在股票投資過程中的應用提供了更大的可能性和可行性。投資者們不僅可以相比于以往收集到更廣泛的非結構化數據，更可以將云計算技術應用在模型建立中。對于已經完成的股市走勢圖像，投資者們可以通過云計算技術把海量的結構化數據以及非結構化數據帶入到模型中，從而完成對模型曲線的不斷修正，進而深入探索股票市場的更為正確、科學的投資方向和策略。

（二）研究方法

在查閱的文獻中，以往專家學者往往通過理論和實踐相結合、定性分析和定量分析相結合的方法進行研究。本文運用的主要研究方法有以下兩種：

1.文獻分析法：對大數據技術在股市投資中的應用現狀以及存在的主要問題作出全面且深入地分析，查閱分析很多以往專家學者在大數據技術、股市投資策略以及云計算等方面的文章和專著，以此為根據，拓寬研究思維，并提出針對性的解決方案。

2.案例分析法：選取大數據技術為研究對象，其既具有自己的獨特之處，又能夠在一定程度上促進投資者們制定出更加科學、合理的股票投資策略以及具體方案，所以，以大數據技術為研究對象對于在研究類如云計算、大數據庫等前沿信息技術在股市投資策略制定過程中所發揮的作用時，在一定程度上是具有借鑒意義的。

二、大數據技術與股票投資概述

（一）大數據技術概述

大數據技術指的是一種規模非常大的數據集合。這種數據集合的規模大大超出了存在于傳統分析過程中的數據范圍，從而使我們在數據的收集、存儲以及處理分析等方面具有了更加強大的能力。大數據技術所具有的特征主要有以下四點：第一是數據規模龐大，大大超出了傳統分析過程中所應用的數據庫；第二是數據類型多樣，包含大量的結構化數據以及非結構化數據；第三是數據流轉速度非常之快；第四則是具有較低的價值密度。

隨著云計算時代的來臨，云計算對于大數據技術在股市投資的應用過程中所起的作用越來越不容忽視。因為大數據技術本身所具有的數據庫龐大、數據種類繁多等特征，對于股市策略研究者來講，根本無法只用單臺計算機對這些海量數據進行處理，而只能采用分布式架構，以云存儲、虛擬化以及云計算的分布式數據庫和分布式處理技術等為依托，才能對大數據庫內的海量數據進行更加有效的分析。

（二）股票投資概述

股票投資指的是個人和企業用通過其他生產活動或商業活動所積累的貨幣資金購買股票，從而在承擔一定風險的前提下獲得一定收益的行為。由于在資本市場上，收益往往是和風險呈正相關，而股票投資的收益一般由兩部分構成，一部分是資本利得，另一部分是收入收益。資本利得指的是個人和機構投資者們的收益因為股票價格有所增長而增多。而收入收益則是指持有股東身份的股票投資者們，在公司進行相關盈利分配時，按照其本身的持股份額，最終所得到的紅利收入和股息收入。

相比于債券投資、銀行定期存款等投資方式，股票投資明顯具有高收益以及高風險的特征。而被投資市場所認定的理性投資行為一般至少要包括以下五個具體的投資環節。第一是根據國家宏觀政策、全球經濟形勢等因素來確定投資政策，第二是根據行業信息以及公司經營業績等進行比較具體的股票投資分析，第三是經過第一步以及第二步之后所確定的投資策略選定具體的投資組合，第四是預先評估業績，第五是通過評估業績和期望業績的相比，對投資策略進行有效的修正。

三、大數據技術在股票投資中的應用現狀以及存在問題

（一）大數據技術在股票投資中的應用現狀

早在2014年11月23日，Kensho公司接受了高盛投資銀行的1 500萬美元的投資，而這些錢最終要被用于該公司對于大數據分析平臺及存儲系統平臺的建設中。對于此數據存儲、分析平臺，可以大大提高對于大數據庫中所包含的海量存儲數據的處理分析速度，并且還可以就投資者所提出的各種金融性相關問題進行專業分析。

在此數據分析平臺所對應的大數據庫中，常規的結構化數據只包含20%，而類似自然事件、科技創新環境、政策規定文件以及地理位置等非結構化數據，則至少包含80%。對于這些非結構化信息數據，無法直接以數字的形式進行衡量，通常需要計算機和相關的數學模型進行專業性的轉化和處理。

除此之外，高盛投資銀行還聯合Fortress信貸集團在2015年對目前仍處于興起階段但發展前景蓬勃的小額融資平臺“On Deck Capital”進行了整整8 000萬美元的投資。而這家小額融資平臺公司最明顯的經營特色就是它是利用其專有的大數據收集、存儲及處理分析系統對向其申請小額貸款的中小微企業進行最大程度上的深入分析，然后根據得出的研究結論總結出相關中小企業在經營業績、管理成效、行業前景等方面的表現，最后才會做出是否向該企業進行貸款的決定。

隨著時代的進步，不管是計算機對于數據處理分析的能力，還是愈加完善的量化模型，都給大數據技術在股票投資中的應用提供了更強有力的支撐。首先是用來分析的數據信息量得到了一個質的提升，從而可以使投資者選擇更多的相關指標來進行處理分析，進而做出更加準確的預測。其次，大大擴大了研究人員的分析覆蓋面。對于每一個股票分析員來講，之前只能同時關注十幾只或幾十只股票，而如今幾乎可以關注所有股票。當然，以大數據技術為基礎的量化投資仍然存在類如同質化競爭等不可忽視的問題，因為有越來越多的投資者和機構開始大規模使用量化投資模型，這導致投資機構所使用的量化投資模型出現雷同的概率越來越大，從而干擾投資者們對股票市場作出最為準確的預判。

（二）大數據技術在股票投資中存在的問題

1.計算機對用戶情緒理解不準確

首先，屬于個人情感范圍內的用戶情緒很難被轉化為具有統一表現形式的計算機語言，專業的數據處理與分析人員很難通過計算機、云計算等前沿信息技術來對用戶情緒、地理位置等非結構化信息進行有效的處理與分析。

其次，不同的人有著完全不同的語言表達習慣。這就導致可能在信息的傳遞過程出現錯誤，從而導致研究人員根據錯誤的來源數據信息制定出錯誤的投資策略。而且，在人的語言表達中，經常會使用雙關語、比喻、反語等表達手法，這種沒有直截了當表明數據信息意義的方式，很可能會因為目前的計算機相關語義、語意分析技術沒有達到要求而導致數據所反映出來的信息并非其應該反映出來的信息，從而造成分析誤差。

2.大數據注重相關性而非因果性

大數據技術之所以可以被用來預測股票市場走勢以及制定相關投資策略，是因為其所對應的數據庫包含幾乎所有股票市場用戶的搜索量以及他們的情緒等結構化和非結構化數據。但是，股票價格的波動走勢雖然和用戶的類似情緒反應以及名稱、關鍵詞搜索量等信息有較強的相關關系，但并不能說明以上兩者之間存在因果關系。

在大數據技術應用的基礎上，與其相應的數據庫所收集的信息在很大程度上都能保證是和相對應的股票分析具有相關性的。然而，數學語言中的相關性在很多時候只是一種簡單的相關性，而不會最終被轉化為兩種變量之間的因果關系。這就可能導致與股票投資相關的數據庫所包含的信息數據中的一部分是無效的，還可能會在大數據技術具體應用過程中產生一定的負面效應。

3.個股分析中難以排除人為制造

分析師通過收集包含多只股票在內的股票組合相關的數據信息，對這些信息進行分析處理，所得到的分析結果是具有一定程度參考性的。因為此分析結果是眾多分析師通過分析股票相對應的公司的名稱以及關鍵詞的搜索量和用戶所表現出來的市場情緒等數據信息，才最后得出相應的研究結果。因此，在這其中的一只或幾只股票所對應的公司的名稱或關鍵詞搜索量對于整體市場的走向趨勢的影響是很有限的。但是，如果在對個股進行分析時，出現了可對個股分析結果產生嚴重影響的人為因素，比如人為地提高該個股所對應的公司名稱或關鍵詞搜索量，將會在很大程度上對個股分析結果產生影響甚至歪曲。

4.大數據本身具有一定的滯后性

大數據技術是通過專業的研究分析對公司名稱或關鍵詞和用戶情緒等數據信息的集中處理分析從而做出相對準確的市場走向預期。但需要注意的是，就市場所能反映出來的公開信息來講，當市場上有大量的股票投資者對某一關鍵詞進行集中的搜索時，就足以說明在此時的市場上和此類關鍵詞直接相關的主體或事件已達到了幾乎最大程度的熱度。

真正能夠在股票投資市場上賺到錢的投資者，相比于一般的投資者具有更廣泛的信息來源渠道，這可以保證其更早地獲得前沿市場信息。這些特殊的投資者一般都會掌握許多家上市企業重要的內部信息，并在相互之間對這些前沿市場信息進行交換。所以，他們能在普通股市投資者知曉這些信息之前就完成針對相關股票的市場操作。而當一般的股票投資者知曉這些信息時，這些信息已經變成市場公開信息，信息所具有的滯后性和時效性就決定了這些一般投資者無法從股票市場上獲取收益。

四、大數據技術在股票投資中應用對策

（一）完善與變革大數據庫數據

1.擴大數據覆蓋范圍。與股票投資相關數據的來源渠道非常多，方式也非常多。常見的有來自于用戶模擬交易數據、實際交易數據、用戶自選股，也有來自于微博、微信等社交渠道，還有來自于媒體新聞傳播渠道。為了提高大數據分析的有效性，需要繼續拓寬數據來源渠道，進而擴大數據覆蓋范圍。

對于大數據庫中所包含的數據信息，所起到的作用也是多層次的。首先是比較淺層次的對于這些數據信息的直接使用，即通過直接觀察數據信息庫從而得出結論；其次是對這些數據的深層次處理和應用。由羊群效應以及股票投資市場所具有的特征可知，當我們對從事股票投資的大部分投資者的行為模式進行分析時，會發現：如果股票市場上出現了一個影響力較大的新聞事件，大部分投資者都會對其進行針對性的搜索和分析，當他們把研究結果付諸于市場實踐時，他們已經錯過了市場最佳投資時期，因為大部分數據信息都是具有滯后性的。所以我們要對用戶進行分層化管理，從而甄別出那些能夠通過自己的專業知識判斷出市場大致走勢的用戶，并分析出這些投資者和一般投資者相比，在關注信息、瀏覽資訊等方面有沒有特別的渠道。

2.增強數據信息質量。應用于股票投資中的大數據技術所依托的數據庫內的海量數據的收集與分析需要一個具有較強安全性且強力有效的平臺。只有當我們具有真實可靠、高效穩定的數據存儲與處理分析系統時，才能夠從數據規模龐大以及種類繁多的信息數據中選擇出真正可以被運用于股票投資分析的數據，才能保證投資分析師運用安全的數據存儲系統和高效的數據處理平臺對大數據進行相應的處理與分析。

（二）修正與改良數據處理與分析

1.提高數據處理分析人員專業能力

根據英國領英雜志所發布的《2016年中國互聯網最熱職位人才報告》顯示，在當下中國對于蓬勃發展的互聯網行業，其所需求最大的六類人才職位中，數據分析拔得頭籌。而根據清華大學計算機系的武永衛教授2018年所做的專業學術研究，中國目前從事大數據技術相關職業的工作人員只有三十余萬，但在未來的三到五年內，中國在大數據技術方面的人才缺口將會達到近兩百萬。所以，大數據技術專業人員的缺少將會導致大數據技術在股票分析中所起到的作用被遏制。

在如此緊急的專業人才需求情況下，首先，應該建立人才培養體系，這樣才能在根本上解決大數據技術專業人才短缺的問題。其次，應該加大對于大數據技術相關行業的從業人員選擇標準的規范力度。再次，企業可以利用已有資源，培養專業的大數據技術型人才，從而有效緩解高端人才極其短缺的困境。最后，可以通過對海外大數據專業人才的引進來彌補該類人才的缺口，同時可以加大國際人才市場的流通速度，進而加快技術傳遞速度。

2.改善數據處理分析具體流程

首先是數據安全方面，不管是大數據本身，還是與大數據息息相關的云計算等前沿信息技術，數據的安全性保證都是不得不引起重視的處理分析前提。從中長期來說只有在數據的安全性有了保障之后，分析師才能更好地承擔起數據安全責任，也才能促進不同的數據需求者以及提供者之間開展高效且穩定的合作。所以，在數據安全性保障方面，不僅要求互聯網行業均要為每一個用戶的需求考慮，從而設計、制定個性化的數據存儲方案，也要求數據存儲機構或部門運用先進的數據管理系統進行數據管理，進而最大程度保障數據安全。

其次是具體過程，應該解決三個層次的問題。第一要有好的數據源，負責大數據技術監管的政府部門可以制定統一的數據信息收集標準，從而在源頭上做到取精華去糟粕，提高后期數據存儲以及具體分析處理的效率。第二是技術，不僅包括計算機硬件系統，還包括軟件開發方面的技術要求。第三點，當投資者制定具體的股票投資策略時，不應該僅關注數據本身，還應該把這些數據所能輻射到的范圍連接起來進行具有整體觀念的分析處理。例如當把大數據技術應用于股票投資領域時，雖然對于信息和數據處理分析所得的投資策略報告，投資者不得不考慮，但是又考慮到最終完成投資行為的是交易員，而不是計算機，所以，更應該同時把用戶市場情緒等和數據有直接相關關系因素也考慮在內。