大數據技術在會計中的應用初探

●山東農業大學經濟管理學院 張明敏 董雪艷

大數據技術在會計中的應用初探

●山東農業大學經濟管理學院 張明敏 董雪艷

信息技術的迅猛發展對會計工作產了的影響日益廣泛。會計工作可以采用更先進的技術來提高效率，實現會計的目的。本文探討了大數據技術的內涵、大數據的相關技術及其在會計中的應用，并對大數據應用的未來趨勢和挑戰進行了展望。

大數據 大數據技術 會計

引言

目前，大數據技術已經融合并促進了很多行業的發展，也使得數據作為早已存在的“新興資源”而萬般得寵。在會計領域，“大數據+會計”的模式必定將推動會計在新信息時代的變革，由此產生的“大會計”能夠體現企事業單位、政府、國家的綜合數據處理能力。大數據相關技術應用于會計是“大會計”面世的第一步，這不僅是會計理論變革的需要，更是會計在實際應用中的需要。

一、大數據技術的內涵

(一)大數據技術的定義。大數據技術實質是信息技術的一種。正是因為信息技術的應用才使會計信息化被提出來并成為現實；同時，會計信息是個體提供者提供的信息，這些個體信息只有匯集才能成為宏觀經濟決策的有用信息，這種匯集本身就是信息技術。因此，信息技術是指在管理與處理各種信息過程中所應用的各種相關技術的總稱，其顯著特點是通過相關技術手段，“非接觸”地實現相應的信息溝通目的。

具體來說，大數據技術是指幫助人們對大容量、多種類、高速產生的數據進行獲取、存儲和分析，最終提取出有價值的信息并且要保障整個過程中的數據安全的技術。可以理解為，大數據技術是具有從各種各樣類型的數據中，快速獲得有價值信息的能力的信息技術。當前大數據存在兩條主要技術路線，一條是基于集群技術的數據資源整合技術，將分散的計算和存儲資源整合輸出；另一條是基于虛擬機技術的數據資源切分技術。這兩條技術路線應用在會計領域將會計信息集成整合，并根據不同會計信息使用者的需求進行資源切分后輸出相應財務報表或財務圖等可視化結果。

(二)大數據技術鏈。大數據技術鏈是指大數據技術在信息處理過程中形成的各技術環節及相互關系，表現為：數據采集、數據組織、數據分析、數據應用、數據再利用、數據投資幾個環節。一個信息技術企業的內部組織結構可以概括為組織與管理層、分析與發現層、應用與服務層三個層次。數據的采集、組織、對應組織管理層，數據分析對應分析與發現層，數據的利用和再利用對應的是應用與服務層。不同的大數據技術鏈環節所使用的大數據技術不同。可以看出，大數據技術鏈環節與相應的組織結構在會計應用中仍適用，大數據技術鏈帶來的數據市場的細分也將會改變傳統會計的組織結構。

二、大數據相關技術

大數據的產生、組織和處理主要是通過分布式文件處理系統來實現的，主流的技術是Hadoop+Mapreduce。其中Hadoop的分布式文件處理系統（HDFS）作為大數據存儲的框架，分布式計算框架MapReduce作為大數據處理的框架。

（一）大數據存儲技術。數據存儲的第一步是在數據源中進行數據的抽取和清洗。數據抽取時通常由抽取規則驅動一個通用抽取算法在數據源中搜索與抽取規則匹配的數據對象。數據清洗是對數據源進行詳細分析后，將從單個或多個數據源中抽取的原始數據（不純、含有雜質，有人也稱為臟數據）經過一系列轉化使其成為滿足數據質量要求的數據。

傳統的結構型數據庫SQL已經不適用于大數據存儲，非關系型分布式數據庫NoSQL是實現HDFS的主要技術。海量數據存儲的關鍵技術在于數據分塊存儲和容錯機制，世界領先的大數據應用平臺Hadoop正是為解決這一問題而研發的技術，它能夠存儲的數據量在PB級別以上，并且針對非結構化數據也能很好地處理。（1）分塊存儲技術：HDFS是Hadoop的分布式文件處理系統，采用的是元數據集中管理與數據分塊存儲相結合的分塊策略，切分文件是根據文件的邏輯記錄結構進行切分，保證邏輯記錄的完整性，同時形成虛擬的全局邏輯目錄，以供數據處理和分析時，系統通過文件的邏輯目錄順利地找到被分割后的文件塊并對該文件塊進行處理；（2）容錯機制：通過數據的副本策略來實現高度容錯，HDFS中的文件通常有3個復制的塊，除了自身的塊外，另外兩個塊用于容錯機制，即在文件本身由于磁盤損壞、系統故障等原因而失效后，將啟用復制塊用于失效的恢復。總之，副本策略保證了文件存儲的高可靠性，分塊策略保證數據并發讀寫的效率并且是MapReduce（Hadoop的分布式計算框架）實現并行數據處理的基礎。

（二）大數據查詢和分析技術

1．大數據查詢技術。SQL on Hadoop技術建立在Hadoop之上，專門用于大數據存儲的非關系型數據庫進行查詢和分析，但目前還處于起步階段。SQL on Hadoop的技術實現原理有多維數據庫并行處理技術和表分區技術。

（1）多維數據庫并行處理技術：通過對查詢語句進行分析、優化，根據分析的結果將查詢分解或復制為多個等價的子查詢，將子查詢語句在相應的數據庫節點上執行，它降低了每個本地數據庫的查詢規模，并實現查詢的本地化并行查詢，提高了數據的查詢效率。（2）表分區技術：經表分區后，數據在數據庫中按一定的規律存放。當進行數據查詢時，系統只需掃描存放數據的響應表分區，查詢掃描規模可以大大降低，數據查詢性能也會得到相應的提高。

2．大數據分析技術。大數據分析技術又稱數據挖掘技術，是大數據應用的核心部分。數據挖掘的目的是從數據中挖掘隱含的信息，進而發現知識。數據挖掘采用較多的數據有決策樹、分類、聚類、粗糙集、回歸分析、關聯規則、特征分析、神經網絡、遺傳算法等。其中決策樹、分類、聚類、粗糙集都是對數據進行分類的技術，使得同一類別數據間的相似性盡可能大，不同類別數據間的相似性盡可能小；數據分類之后，回歸分析、關聯歸則、特征分析和神經網絡都是對隱藏在數據間的關系和趨勢特征進行挖掘的技術；遺傳算法是被用來評估其他算法適合度的技術。

另外，數據分析的結果呈現由可視化技術來完成，一種是可視化分析報表，用圖和表來描述數據分析結果；另一種是可視化分析，得到的是一個數據集的統一的視圖，點擊餅圖或者柱圖，相關分析結果可以進一步展現。

（三）大數據安全技術。據統計，過去十年間，網絡安全漏洞增加了8倍，安全問題不解決，同樣會成為大數據發展道路上的障礙。

1．大數據安全存儲技術。大數據安全存儲技術主要有數據加密、分離密鑰和加密數據、使用過濾器、數據備份、加強細粒度授權管理。這些技術的目的主要是：為數據流的上傳與下載提供有效的保護；把數據使用與數據保管相分離，把密鑰與要保護的數據隔離開；一旦發現數據離開了用戶的網絡，就自動阻止數據的再次傳輸；定期通過系統容災、敏感信息集中管控和數據管理等產品，實現對端對端的數據保護；根據大數據的密級程度和用戶需求的不同，將大數據和用戶設定不同的權限等級，并嚴格控制訪問權限。

2．大數據采集和傳輸安全技術。大數據采集技術使用身份認證、數據加密、完整性保護等安全機制來應對可能出現的數據損壞、數據丟失、數據泄露、數據竊取等安全威脅；大數據傳輸安全采用的技術和實現目的有目的端認證源端的身份以確保數據的真實性、數據加密以滿足數據機密性的要求、密文數據后附加MAC（消息認證碼）以達到數據完整性保護的目的、數據分組中加入時間戳或不可重復的標識來保證數據抵抗重放攻擊的能力。

3．大數據挖掘安全技術。數據挖掘過程中首要解決的安全問題是對數據挖掘者的身份認證和訪問管理。（1）對挖掘者進行身份認證是為了證實用戶的真實身份與其所稱的身份是否相符，進行身份認證時可以使用基于秘密信息（如ID、口令、密鑰等）的身份認證技術、基于信物（如信用卡、智能卡、令牌等）的身份認證技術和基于生物（如指紋、聲音、虹膜等）特征的身份認證技術等。（2）訪問控控制是進行數據安全保護的核心策略，常見的訪問控制模式主要有自主訪問控制、強制訪問控制、基于角色的訪問控制。其特征分別是能夠授予或收回其他主體的訪問權限、根據安全策略強制控制用戶的訪問權限、通過對角色授權來控制用戶對系統資源的訪問。

4．大數據發布安全技術。在進行數據挖掘后，要向數據使用者輸出可視化結果，數據發布的主要安全技術是安全審計。對大數據進行安全審計的角度主要有大數據日志、網絡監聽、網關設備、代理審計，能過這些層面記錄與系統安全有關的活動，對其進行處理、評估審查，查找安全隱患，并對出現的問題進行分析和處理。但是再嚴密的審計手段也難免有疏漏之處，在數據發布之后，如果出現機密、隱私的外泄等安全問題，就需要采用數據溯源技術，及時準確地定位到出現問題的環節和責任者，以便對數據安全問題的解決。

三、大數據技術在會計中的應用

（一）信息技術在會計中應用的階段性成果。會計與信息技術的關系不僅表現為會計對信息技術的利用，還表現在信息技術對會計產生的重大影響。信息技術在會計中的應用經歷過了兩個階段：會計電算化階段和企業資源計劃（ERP）階段。

電算化為會計帶來的變革主要是擺脫了手工做賬的煩瑣，實現會計數據處理的加速。其明顯優勢是大幅提高了工作效率并通過節省人力、物力降低了會計成本，但形成了企業內部各部門間的信息孤島現象；

企業資源計劃（ERP）則使得會計信息與其他部門信息處于同一信息系統中，將企業的物流、財流、人流、信息流集成在一起，作為整體為企業管理提供依據，企業內部的信息孤島問題得到緩解，但企業內部與企業外部間又產生了新的信息孤島。

（二）大數據技術在會計中的應用。據統計，會計信息滿足了人們從事經濟管理所需要的70%以上的信息，現在大數據技術作為信息技術的前沿理所應當應用在最創造價值的會計數據的分析中。

1．數據存儲。會計人員可以利用大數據存儲技術提高未來會計大數據存儲的條理性、整潔性、容錯性，當需要對會計數據進行處理時可以迅速、便捷、安全地抽取所需數據；如果會計數據在處理過程中丟失或毀損，大數據的副本策略可以對數據及時恢復，保障數據的完整性。通過結構優化的數據擴展了會計數據的維度，多維度的數據交叉有助于將零碎的數據整合為有用的信息，而局部的信息又可以堆積成一個知識，進而提升了信息的質量。

2．數據查詢和分析。大數據查詢和分析技術應用在會計中可以對所有相關數據進行分析，而不僅局限于財務數據；更加關注會計主體的外部信息，而不僅限于內部的數據。大數據查詢技術不僅是數據分析人員查詢目標數據的工具，還可以滿足稅務、銀行、利益相關者等對原始數據查閱的需求，因而在一定程度上解決了企業內部與外部之間的信息孤島問題。各種分析方法下的會計數據分類、挖掘、效果評估增強了會計數據的可靠性。可視化技術使分析結果的呈現更加多樣化，在一定程度上使會計數據的可理解性得到提升。會計走向大數據的趨勢也必然是包含大量的非結構化數據，全面挖掘大數據與未來實現會計輔助決策和創造經濟利潤的目標密不可分。

3．數據安全。會計數據安全關系到企事業單位甚至國家利益的重大問題，因此會計安全問題也是會計主體接受信息技術時考慮的基礎問題。一系列的大數據安全技術為采集、傳輸、存儲、挖掘、發布等各個環節中會計數據的安全性提供保障，不論是基礎數據還是加工數據，凡是涉及會計主體機密的敏感數據可以受到很好的保護，會計主體更愿意接受大數據技術。這樣未來的會計數據市場才有可能發展起來，為會計信息需求者提供個性化的選擇。

大數據技術廣泛應用于實踐，包括應用于會計，才能體現它的潛在價值，也能發現大數據技術存在的弊病，促進大數據技術的改良。“大數據+會計”模式必定會為會計開創新的天地。

四、大數據技術應用的未來趨勢和挑戰

大數據技術的發展給會計變革帶來了新的機遇，但同時也面對著大數據質量管理等大數據治理方面的難題，是否會有越來越多的“臟數據”混入真實數據之中，數據的抽取和清洗技術又能否實現高清度的數據過濾；另外，數據產權問題也被提出來，大數據產權的有無、多少應該怎樣界定，數據產權是屬于某個人還是某個組織，人們為了保護數據記錄的個人隱私是否會趨向于“數字化節制”時代的發展，抑或是“個人數據超市”將興起；會計人員及會計信息使用者的信息技術水平會影響大數據技術在會計中的應用進程；能否及時建立完善的大數據標準和大數據法律保護機制以創造大數據發展的良好環境等等都是值得關注的問題。會計數據作為大數據帝國的一員，應當緊跟大數據發展的步伐，積極做出自身的調整并為大數據的進一步發展做出一定的貢獻。■

1.鮑亮、李倩.2014.實戰大數據[M].清華大學出版社。

2.陳輝.2012.信息技術在會計中的具體應用[J].會計師，1。

3.沈弋、徐光華、王正艷.2014.“言行一致”的企業社會責任信息披露——大數據環境下的演化框架[J].中國會計學會環境會計專業委員會2014學術年會論文集。

4.蘇對泳、譚琳.2014.大數據技術及其在信息系統中的應用[J].計算機光盤軟件與應用，2。

5.王鵬、黃焱等.2014.云計算與大數據技術[M].人民郵電出版社。

6.張尼、張云勇等.2014.大數據安全技術與應用[M].人民郵電出版社。

7.趙剛.2013.大數據：技術與應用實踐指南[M].電子工業出版社，10。

8.鄭樓英.2007.數據挖掘技術在會計信息系統中的應用初探[J].財會研究，6。