大數(shù)據(jù)時代投資統(tǒng)計數(shù)據(jù)處理技術分析

張瑩

摘要：隨著經(jīng)濟全球化趨勢進一步加劇，國內外競爭日益激烈，新形勢下，各行業(yè)都面臨著十分嚴峻的挑戰(zhàn)，對統(tǒng)計數(shù)據(jù)信息的依賴性也越來越高。大數(shù)據(jù)時代的到來為統(tǒng)計數(shù)據(jù)處理的順利開展提供了強有力的技術支撐，但由于數(shù)據(jù)信息處于實時更新和變化中，且具有類型多樣、體量大的特點，大大增加了處理難度。基于此，本文探討了投資統(tǒng)計大數(shù)據(jù)處理技術的意義，分析了投資統(tǒng)計大數(shù)據(jù)的基本特征和相關技術，以供參考。

關鍵詞：大數(shù)據(jù)；投資統(tǒng)計；數(shù)據(jù)處理

大數(shù)據(jù)時代，信息生成、傳播的渠道越來越多樣化，數(shù)據(jù)傳遞效率越來越高，各行業(yè)的內在聯(lián)系日益緊密，結構化、半結構化、非結構化數(shù)據(jù)的出現(xiàn)及廣泛應用，給統(tǒng)計工作帶來了全新的挑戰(zhàn)。在投資領域，統(tǒng)計數(shù)據(jù)具有極為重要的參考價值，如果統(tǒng)計數(shù)據(jù)的真實性、權威性得不到保障，或出現(xiàn)了統(tǒng)計信息不對稱的情況，投資決策失敗的可能性也會大大增加。

一、投資統(tǒng)計大數(shù)據(jù)處理技術的意義

目前，我國金融體制改革正在深入推進，金融市場也正發(fā)生變化。為了讓投資統(tǒng)計更加科學、準確，應結合實際情況，對投資統(tǒng)計大數(shù)據(jù)的關鍵處理技術展開分析和研究，從而全面、實時地處理海量數(shù)據(jù)，深入挖掘其背后蘊含的規(guī)律，提升投資統(tǒng)計數(shù)據(jù)的處理水平，從而為我國相關部門和行業(yè)做決策提供參考。

二、投資統(tǒng)計大數(shù)據(jù)的基本特征

從結構角度出發(fā)，可以將數(shù)據(jù)分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)兩大類。其中，結構化數(shù)據(jù)是利用統(tǒng)計系統(tǒng)，將企業(yè)通過二維表的形式展現(xiàn)出來的數(shù)據(jù)；非結構化數(shù)據(jù)則完全相反，是無法利用二維表展現(xiàn)的數(shù)據(jù)，比如，圖片、文本、視頻、音頻等。投資統(tǒng)計大數(shù)據(jù)在遙感技術、地理信息系統(tǒng)等現(xiàn)代化技術手段的支持下，具有動態(tài)化監(jiān)測的功能，讓數(shù)據(jù)的實時收集、整理、處理等環(huán)節(jié)更加高效、便捷，并加強和投資業(yè)務之間的聯(lián)系，使二者深度融合。一方面，要清楚掌握投資統(tǒng)計系統(tǒng)的實際運行狀況，定期生成與之有關的投資統(tǒng)計數(shù)據(jù)和具體信息；另一方面，在PDA及相關硬件設備的支持下，可動態(tài)收集投資統(tǒng)計項目的變化情況，結合投資進度，與住建部門、發(fā)改部門、稅務部門、工商部門等保持密切溝通，加強數(shù)據(jù)共享和傳輸，便于后期實時對比分析，從而不斷提高投資統(tǒng)計數(shù)據(jù)的綜合管理效能。

投資統(tǒng)計大數(shù)據(jù)的基本特征，具體表現(xiàn)在以下方面：首先，數(shù)據(jù)量日益龐大。大數(shù)據(jù)時代的到來，讓數(shù)據(jù)變化和生成的速度越來越快，投資統(tǒng)計數(shù)據(jù)的單位也從TB級上升到了PB級。其次，數(shù)據(jù)類型日益多樣化。目前，我國各級部門對投資統(tǒng)計數(shù)據(jù)的重視度日益提高，對數(shù)據(jù)信息的準確性、精確性要求也越來越高。因此，必須從多角度、多維度展開數(shù)據(jù)分析，確保其為現(xiàn)實需求服務，保證投資數(shù)據(jù)具有利用價值。再次，投資統(tǒng)計數(shù)據(jù)利用率不高。投資統(tǒng)計數(shù)據(jù)的采集并非靜態(tài)的，而是一個“永不停止”的過程，需要收集的數(shù)據(jù)體量非常大，必須要通過相應的監(jiān)測技術，密切關注重大項目在投資過程中的數(shù)據(jù)變化，出現(xiàn)任何細微的數(shù)據(jù)異常，都會影響投資項目的成敗。因此，一定要采取精細化、規(guī)范化管理，提高數(shù)據(jù)的利用率，并再三檢驗數(shù)據(jù)的真實性與有效性。最后，投資統(tǒng)計數(shù)據(jù)處理效率要求高。新時代，投資統(tǒng)計數(shù)據(jù)時刻處于變化之中，對處理效率的要求越來越高。因而，應充分利用云技術、新型計算機、大數(shù)據(jù)等現(xiàn)代化技術手段，盡可能在短時間內完成數(shù)據(jù)的采集、傳輸、存儲、處理、分析等環(huán)節(jié)，這樣才能充分展現(xiàn)出投資統(tǒng)計數(shù)據(jù)的價值所在。

三、大數(shù)據(jù)時代投資統(tǒng)計數(shù)據(jù)處理技術分析

投資統(tǒng)計數(shù)據(jù)的處理，需要應用現(xiàn)代化技術，從數(shù)據(jù)采集、傳輸、儲存、處理、分析等多個環(huán)節(jié)進行深入探究，以保證投資統(tǒng)計的效率與質量。各環(huán)節(jié)涉及的技術具體如下：

（一）大數(shù)據(jù)采集技術

在投資數(shù)據(jù)管理過程中，數(shù)據(jù)采集是最基礎的環(huán)節(jié)，也是數(shù)據(jù)的主要來源。利用相應的技術采集各類數(shù)據(jù)端口，可讓數(shù)據(jù)更加全面、完整。在大數(shù)據(jù)采集過程中，通常需要很多數(shù)據(jù)庫同時接收數(shù)據(jù)，但也導致數(shù)據(jù)同質化現(xiàn)象。而且為了掌握更全面的信息，需要頻繁訪問和操作系統(tǒng)。為了讓數(shù)據(jù)采集進行得更順利，在數(shù)據(jù)采集端口必須利用相應的技術，確保其滿足數(shù)據(jù)運載負荷，提高數(shù)據(jù)采集的全面性。目前，應用最為普遍的技術是Google文件系統(tǒng)中的GFS技術。該項技術不受空間限制，對各類型數(shù)據(jù)展開收集與整理，并密切關注數(shù)據(jù)信息的變化情況，從橫向、縱向兩個方面予以動態(tài)化管理。在投資統(tǒng)計大數(shù)據(jù)的采集階段，一定要深化技術研究和開發(fā)，攻克當前面臨的數(shù)據(jù)難關。在未來的發(fā)展中，數(shù)據(jù)信息的重要性會越來越突出。只有掌握了足夠的技術，提高信息采集能力，才可充分發(fā)揮統(tǒng)計數(shù)據(jù)的價值和作用，讓相關領域的工作人員掌握一手資料和信息，提高開發(fā)效能與利用率。

（二）大數(shù)據(jù)傳輸、儲存技術

目前，我國的投資統(tǒng)計系統(tǒng)和數(shù)據(jù)聯(lián)網(wǎng)直報系統(tǒng)高度結合，在一體化的數(shù)據(jù)聯(lián)網(wǎng)直報平臺上，數(shù)據(jù)處理更加統(tǒng)一、規(guī)范、高效，使數(shù)據(jù)動態(tài)傳輸、儲存成為可能。隨著我國經(jīng)濟社會的不斷發(fā)展，投資統(tǒng)計數(shù)據(jù)量呈爆炸式增長，數(shù)據(jù)類型更為多樣，但也使得數(shù)據(jù)儲存系統(tǒng)、傳輸系統(tǒng)的負擔不斷加重，其升級和改造十分迫切，也成為必然趨勢。否則，有可能出現(xiàn)系統(tǒng)漏洞，大大增加系統(tǒng)的運行負擔，影響數(shù)據(jù)處理效率，還容易導致機密信息泄露。這種情況下，需要充分發(fā)揮大數(shù)據(jù)傳輸與儲存技術的應用優(yōu)勢，對數(shù)據(jù)進行壓縮，縮小其存儲空間，提高傳輸速度。通過投資統(tǒng)計數(shù)據(jù)傳輸處理技術來構建處理模型，讓數(shù)據(jù)批量處理成為可能，可有效避免系統(tǒng)資源占用空間大、資源利用率低等問題。目前，MapReduce技術在這方面的應用比較廣泛，具有聯(lián)機處理功能。將數(shù)據(jù)輸入模型后，還可實現(xiàn)分割，統(tǒng)一調度計算集群，讓各數(shù)據(jù)處理端口之間實現(xiàn)互聯(lián)互通，信息共享效率更高。數(shù)據(jù)從采集、傳輸?shù)酱鎯Γ總€環(huán)節(jié)都需要相應的技術作為支撐，目前最常用的存儲方式是分布式保存，安全性高、數(shù)據(jù)可靠是其主要優(yōu)勢，但其同樣也存在一定的缺陷。數(shù)據(jù)在系統(tǒng)中占據(jù)著較大空間，處理時間長，要在最短的時間進行分類和集約化處理，做好信息壓縮，可以使用投資遙感監(jiān)測處理技術。在面對容量比較大的文件和資料時，可使用GFS分布式文件系統(tǒng)；在應對容量比較小的文件資料時，建議使用Haystack系統(tǒng)，彌補傳統(tǒng)技術在數(shù)據(jù)存儲方面的不足。

（三）大數(shù)據(jù)實時處理技術

投資統(tǒng)計大數(shù)據(jù)處理，采集和存儲只是前兩個基本步驟，后續(xù)還應對數(shù)據(jù)信息進行實時動態(tài)化處理。處理得是否得當會直接決定了信息的利用價值大小。目前，云計算系統(tǒng)是數(shù)據(jù)處理方面應用最普遍的技術類型之一，可滿足絕大部分情況下的投資統(tǒng)計處理服務，但如果在聯(lián)網(wǎng)直報的高峰期，系統(tǒng)可能出現(xiàn)崩潰、處理出錯、處理效率低等情況，且數(shù)據(jù)的準確性得不到保障。造成這一現(xiàn)象的主要原因在于，投資統(tǒng)計數(shù)據(jù)體量大、類型多樣，計算和處理難度大，在數(shù)據(jù)轉化的過程中，也有可能因為格式、標準不統(tǒng)一而出現(xiàn)錯誤，導致統(tǒng)計指標不完整、數(shù)據(jù)異常等情況時有發(fā)生。為了解決上述問題，必須要結合實際需求，打造更加開放的分布式處理系統(tǒng)，對各類數(shù)據(jù)進行大規(guī)模處理。目前，Sector廣域網(wǎng)分布式系統(tǒng)已具有數(shù)據(jù)處理、分割和轉交的功能。

（四）大數(shù)據(jù)分析技術

目前，Bigtable分布式數(shù)據(jù)庫在投資統(tǒng)計大數(shù)據(jù)處理和分析方面得到了廣泛應用，可按照列表存儲數(shù)據(jù)進，并從多維度展開分析，同時利用SQL語言集中分析數(shù)據(jù)，或利用LOD技術的可視化特點，構建相應的數(shù)據(jù)采集環(huán)境，對各類型大數(shù)據(jù)進行處理。平值法、平滑法、預測法、頻率統(tǒng)計法等，都是目前常用的方式，可對數(shù)據(jù)模型進行深度對比和分析。

四、改進投資統(tǒng)計的相關建議

（一）健全統(tǒng)計登記制度，做到應統(tǒng)盡統(tǒng)

財政、水利、發(fā)改委等資金管理、審批立項部門，在向投資主體下發(fā)資金及項目相關文件時，一定要將資料同步抄送統(tǒng)計部門。對于重要項目，在市發(fā)改委、縣區(qū)發(fā)改委及其他審批立項部門審批同意前，項目承接單位必須要在同級別的統(tǒng)計部門登記，按照固定資產(chǎn)投資統(tǒng)計的要求辦理相關手續(xù)，否則不允許開展。市、縣級統(tǒng)計局投資科（處）負責對所管理的當月投資完成額超過2000萬元的項目進行解鎖操作。解鎖前，要與項目單位充分溝通，了解項目建設的內容和進度，檢查相關填報憑證。在確認憑證支撐數(shù)據(jù)后，方可解鎖；對沒有憑證的項目不得進行解鎖；對憑證不充分的項目，依法要求補充憑證或進行數(shù)據(jù)修訂。憑證核查人員、解鎖人員解鎖主要依據(jù)要記錄留痕，以備檢查。

（二）加強重視

領導人員要加強對投資統(tǒng)計工作的關注度，做好協(xié)調工作，同時給予一定的資金、政策扶持。固定資產(chǎn)投資統(tǒng)計數(shù)據(jù)管理十分重要，必須要引進現(xiàn)代化的技術手段，充分發(fā)揮大數(shù)據(jù)、云計算技術等的應用優(yōu)勢，實行領導負責制，明確劃分職責，并將責任落實到個人。定期舉辦固定資產(chǎn)投資聯(lián)席會議，由市發(fā)改委組織，水利、交通、建設、統(tǒng)計等部門協(xié)同參加，通報固定資產(chǎn)投資項目的開展情況、預期收益、遇到的風險等，并采取有效措施，解決當前存在的各種問題。同時，建立投資項目統(tǒng)計臺賬，利用大數(shù)據(jù)技術，對投資項目相關的信息進行全面收集、整理、存儲、分析與處理，將信息錄入數(shù)據(jù)庫。發(fā)改委、統(tǒng)計部門定期核查投資項目的完成進度、預期收益等，做好核對工作，確保將所有經(jīng)費落到實處，以免出現(xiàn)浪費。

（三）采用全新的投資統(tǒng)計方法

將抽樣調查和全面報表相結合，遵循“抓大放小、從輕就簡”的原則開展投資統(tǒng)計工作。同樣地，也可以根據(jù)項目進行統(tǒng)計，要明確各項目的規(guī)模，比如，以計劃總投資500萬元作為分界線，500萬元以上的項目使用全面報表的方式統(tǒng)計，這類項目數(shù)量相對比較少，易于把握；總投資在500萬元以下的項目數(shù)量比較多，投資占比小，可利用抽樣調查的方式統(tǒng)計。部分特殊情況下，為了保證統(tǒng)計數(shù)據(jù)的全面性和真實性，也可利用大數(shù)據(jù)技術收集這類項目的所有信息，讓統(tǒng)計人員對項目的開展情況進行深入分析。

（四）加大數(shù)據(jù)審核力度

首先，應嚴格填報憑證核查，確保數(shù)出有據(jù)。嚴格執(zhí)行制度規(guī)定，培訓指導調查對象依據(jù)真實憑證，準確填報相關指標投資數(shù)據(jù)。為確保月報期間數(shù)據(jù)核查及時、順暢，各級要加大對填報憑證的先行審核和管理，重點審核當月完成投資額超過2000萬元的項目。切實擔負數(shù)據(jù)審核的職責，做好憑證查驗、審核解鎖等工作，可根據(jù)實際情況制定具體措施，進一步夯實基層統(tǒng)計部門責任，加大審核力度。其次，要準確把握數(shù)據(jù)變化，真實反映投資運行趨勢受投資基期數(shù)據(jù)的影響，進一步加強投資運行趨勢與相關指標，包括銀行貸款，鋼材、水泥產(chǎn)銷量等的匹配性評估，把握好本地區(qū)投資的趨勢。加大調查研究力度，了解重大投資項目的進展，做好因素分析。了解增速波動原因，按要求按時上報月報說明。最后，大數(shù)據(jù)時代，數(shù)據(jù)體量更大、類型多樣，投資統(tǒng)計數(shù)據(jù)的處理難度也越來越大，對相關人員的專業(yè)水平提出了更高的要求。相關單位應定期開展專業(yè)培訓，加大內部宣傳，印發(fā)與投資統(tǒng)計有關的學習資料，夯實工作人員的理論知識基礎。在數(shù)據(jù)處理方面，應強化其信息素養(yǎng)，使其靈活掌握各種投資統(tǒng)計數(shù)據(jù)處理技術，降低數(shù)據(jù)處理的差錯率，保證信息的真實、準確。

（五）加強基礎建設

積極探索、推進投資統(tǒng)計臺賬建設，規(guī)范投資項目審核，特別是建立投資填報依據(jù)臺賬。可先對一些投資總量大、進度快的項目建立填報依據(jù)統(tǒng)計臺賬，規(guī)范整理和留存，做到憑證齊全、數(shù)出有據(jù)，以便隨時調閱。

（六）規(guī)范工作流程，嚴格工作要求

一是加強項目入庫管理，實現(xiàn)全部聯(lián)網(wǎng)直報。各地區(qū)投資處要嚴格按照《固定資產(chǎn)投資項目統(tǒng)計入庫工作規(guī)定》要求，做好項目入庫工作。同時，加大對入庫材料的審核力度，嚴把數(shù)據(jù)源頭關。二是按時報送報表。各地區(qū)投資處要嚴格按照投資司每月月報報送時間安排，準時報送各月的綜合表和基層表，杜絕遲報或重大延誤等情況。投資司每月將對報表報送的時效性、準確性等情況進行反饋，并以此作為年底考評各地區(qū)投資專業(yè)工作的重要依據(jù)。三是投資統(tǒng)計人員想要在短時間內上報眾多報表、統(tǒng)計海量數(shù)據(jù)信息顯然不夠現(xiàn)實，即便有現(xiàn)代化技術的加成，想要完成過于繁重的任務難度也比較大。這種情況下，統(tǒng)計報表的質量也得不到保障。因此，對于統(tǒng)計局而言，應盡可能調整調查時間，讓工作人員有足夠的催報報表及審核時間，避免工作過于慌亂。

五、結束語

總而言之，隨著我國科學技術不斷發(fā)展，過去的投資統(tǒng)計理論、技術、方法等都已經(jīng)難以很好地滿足實際需求，必須要深化變革，不斷創(chuàng)新。大數(shù)據(jù)時代的到來，讓各種現(xiàn)代化技術手段在投資統(tǒng)計數(shù)據(jù)處理方面得到了廣泛應用，讓數(shù)據(jù)來源更加豐富，同時也讓投資統(tǒng)計的理念產(chǎn)生了深刻變化。未來，應深化技術分析與研究，繼續(xù)尋求數(shù)據(jù)處理方面的有效方法，加強探索，進一步提高投資統(tǒng)計的能力與水平。

參考文獻：

[1]張嵐，郭悅.發(fā)揮統(tǒng)計監(jiān)督職能提升水利統(tǒng)計數(shù)據(jù)質量——《水利建設投資統(tǒng)計數(shù)據(jù)質量核查辦法（試行）》實踐與思考[J].水利發(fā)展研究，2022，22（06）：38-43.

[2]王明亮.水利項目投資統(tǒng)計數(shù)據(jù)精細化管理——以桑干河山陰縣段河道綜合治理工程為例[J].中國水利，2021（01）：60-61.