基于大數據時代背景下的軟件工程分析

李奇旻

（華東師范大學 上海市 200062）

自上個世紀90年代初，信息高速公路在美國提出以來，歷經近30年的發展演進，信息技術發展突飛猛進，信息化領域的新技術、新詞語層出不窮，諸如IT 技術、互聯網技術、大數據技術、區塊鏈技術、人工智能等。并且對人們的生產、生活方式產生了深刻的影響，認為現在進入了大數據時代、萬物互聯時代、智能化時代等。筆者認為，一直以來，其中除了硬件的發展，還有兩個關鍵因素同樣值得關注，一是數據，其是基礎和目的；二是軟件，其是方法和工具。唯如此，才能實現在軟件生命周期即設計、開發、運行、優化，實現與大數據生命周期即獲取、清洗、集成、分析、呈現等的互動。[1]換言之，現在來說，就是大數據和軟件工程，二者助推了信息技術的發展，同時也是信息化的產物，在大數據時代背景下，研究軟件工程技術的應用，對于經濟社會的發展有著十分重要的意義。

1 大數據和軟件工程簡述

1.1 大數據簡述

沃爾瑪的“啤酒與尿布”是眾所周知的大數據經典案例，大數據已經是當今信息社會炙手可熱、耳熟能詳的詞匯，而且已形成共識，即人類已經進入大數據時代。上個世紀80年代初，《第三次浪潮》一書風行全世界。該書作者美國社會思想家阿爾文?托夫勒就在文中將人類社會發展劃分為三次浪潮，即以“農業文明”為主導的第一次浪潮，以“工業文明”為主導的第二次浪潮，以“信息化”為主導第三次浪潮。[2]其中首次提出了“大數據”（Big Data）一詞，并且，以“第三次浪潮的華彩樂章”這樣的用詞對其進行熱情的謳歌。[3]全球著名咨詢公司麥肯錫于2011年5月發布了《大數據：創新、競爭和生產力的下一個前沿》報告，公認此報告宣告了大數據時代的到來。由于大數據概念的提出源于不斷的發展實踐，其本身并沒有嚴格、權威的定義。通常認為，大數據的大即大數據集的規模一般應達到10TB 左右，現在已經達到了PB 級的數據量。維基百科稱“大數據”是這樣一個術語，即其是用以描述用傳統的數據處理應用軟件無法完好處理的龐大的或者復雜的數據集。但“大數據”這一概念并不僅僅指數據規模的龐大，還包括對這些數據對象的處理以及應用活動。IBM 提出大數據通常具有“5V”特征：Volume（數據體量大）、Variety（數據類別多樣）、Velocity（處理速度快）、Veracity（數據真實性高）、Volume（數據價值高）。[4]

大數據技術分類并分平行關系，而是呈縱向、層級狀結構，詳見圖1所示。

圖1：大數據技術分類

1.2 軟件工程簡述

軟件工程本身并沒有嚴格、權威的定義。并且，也是直到20世紀60年代初才出現了“軟件”一詞，于此之前，更多的是程序的概念，后來人們認識到與程序相關的文檔也有著相當重要的作用，才有了“軟件”一詞的出現。軟件發展至今天，已經遠遠不是程序個體或者程序員合作的方式能夠完成的，即使能夠完成，也會是效率低下、程序運行可靠性差，或者說根本就無法完成。于是，在1968年召開的大西洋公約學術會議上提出了軟件工程的概念，簡單理解，就是以工程的方法來進行軟件系統設計、開發、運行、維護、優化等技術的總和，進一步言之，就是用“計算機科學、數學管理科學等原理，以工程化方法制作軟件的工程”，屬于一門交叉學科。[5]通常認為其包含有四個要素：

（1）軟件工程目標；

（2）軟件工程范型；

（3）軟件工程過程；

（4）軟件工程原則。

2 大數據與軟件工程的結合方式

宏觀上講，軟件工程是比大數據更為寬泛的概念，大數據的技術與應用被軟件工程所涵攝。如圖1所示意，雖然大數據的各項技術與應用屬于垂直領域，而軟件工程牽涉的是橫向領域，更加關注軟件產品及軟件系統工程上的實現及其管理。但是，大數據無論是其產品還是其系統的完成與落地，都離不開軟件工程方法論的支持。換言之，軟件工程的方法與技術貫穿于大數據的開發與應用，大數據也只是在軟件工程發展過程中出現的概念。

軟件工程開發具有綜合性，其應用滲透于各個學科和領域，大數據的技術與應用當然是軟件工程所關注和研究的對象，或者說大數據技術的每一環節都離不開軟件工程的支持。大數據應用的基礎是要依賴數據鏈條的完整性，采用相應的算法于海量的數據中進行規律分析，算法要依據相應的實際環境進行相應的升級，遵循開發的基本原理，充分調整數據分布，從而在研究過程中將大數據技術與軟件工程方法結合起來。并在開放的環境中通過網絡與通信技術實現數據的共享，在此過程中，軟件技術和水平亦能得到進一步的提高。在二者相互作用滲透的過程，軟件效率得到提高，軟件效益得以提升，從而實現客戶需求的最大化。

在軟件開發過程中，還需要有必備的硬件和軟件的支撐，來支持相應的數據流，隨著數據流的增長，對于硬件和軟件就會有更高的要求。工程技術人員在對數據流進行分析研究的同時，專家學者還會對在線服務進行研究。但是，數據流是重點，包括對數據流的使用方法的研究，對支撐數據流的軟件和硬件的研究。另外，從軟件工程開發角度看，無論是在服務端還是在用戶端，軟件的運行當然會產生大量的數據流，都將產生大量的數據信息，這些數據流對于軟硬件的使用壽命有著決定性的影響。因此，在軟件工程的開發中，對于海量數據產生的環境下，更有必要做好數據流的管理，要高度重視數據流的分析研究，并且對于原始數據進行深入的研究也應該引起重視，以期延長軟件的使用周期。[6]

3 大數據時代的軟件服務工程

軟件服務工程即所謂的面向服務的軟件工程，強調的是其相對于傳統軟件工程的擴展。近些年來得到了很快的發展，已經成為當今時代的主流社會需求之一，服務功能已經是軟件開發的基本原則。另一方面，也可以將其直觀理解為“軟件（Software）+服務（Service）+工程（Engineering）”三個方面的交叉融合，或者軟件工程與服務工程兩者的融合等。其內涵可以理解為研究面向服務的軟件工程原則、軟件工程方法以及軟件工程技術，同時利用相應的軟件服務設施和平臺，開發較高水平的軟件服務系統。[7]軟件開發者根據需求變化，在社會實際實用中，以面向服務作為主要建設目標。在開發的初期就要首先搭建好軟件的框架，充分利用編程語言、構思好編程思路，確保開發軟件能夠提供可靠的服務應用，保障軟件運行時的穩定與可靠。在實際的服務過程中，要求開發者運用分布式應用程序，以虛擬操作的方式提供用戶相應的服務。在應用中，融合大數據技術，能夠實現對數據進行編程，達到軟件互操作的效果，并提高對數據的主動協調。軟件工程開發工程師可以對數據信息共享，實現各種學習交流，對軟件進行協同開發，并結合用戶的反饋，對軟件系統進行優化處理，提高軟件的性價比。

近年來，開源軟件是較為成功的軟件習作模式，但是，其采用常規的研究方法，應用價值還不是很高。與開源軟件相比，群體軟件工程屬于一種分布式軟件開發模型，能夠依靠網絡進行任務分配，并能實現創造性的查詢，通過眾包形式的開發，解決開發過程中的難題。并且，在整個開發過程中，眾包開發可以貫穿其全過程。所謂眾包，一如其字面含義，是一種分布式的生產開發模式和問題解決方案。通過該種方式，開源軟件和商業軟件均可通過網絡進行任務和責任分配。[8]

隨著我國計算機科學技術的不斷發展進步，軟件工程技術也取得了長足發展，軟件服務工程也支持得到拓展和延伸。在大數據時代背景下，我們應當加快大數據技術和軟件工程技術的融合與創新，提升對海量網絡數據進行編程處理的能力，提高軟件的安全和效能，增強其穩定性和可操作性，進一步整合軟件工程系統的集成度。

4 數據密集型科研第四范式

圖靈獎獲得者、關系數據庫研究專家詹姆士?格雷 (James Gray)曾經從科學哲學的層面將人類科學研究模式總結劃分為最初的實驗科學階段，之后的理論科學階段，到通過模擬的方法進行的計算科學三個階段，相對應地稱之為科學研究的第一范式、第二范式、第三范式。但是伴隨著模擬連同實驗所產生的海量的數據，需要由軟件處理這些由各種儀器或者模擬實驗產生的海量數據，并將處理得到的信息和知識存儲于計算機中。之后，科研人員只需要對這些存儲于計算機中的少量數據進行分析研究，不再是直接通過儀器或者模擬進行研究。因而基于數據密集型科學研究獨特的技術以及其顯著的不同于以往研究的特點，詹姆士?格雷在2007 于其科研報告中提出了將這種數據密集型的科學研究模式從計算機科學類型中單獨區分出來的思想，隨之產生了一種被稱之為第四范式的新的科研模式。該報告整理后題名“吉姆?格雷論e‐Science:一種科研模式的變革”，成為微軟于2009 發布的年首次全面對數據密集型數據進行描述的論文集《e‐Science：科學研究的第四種范式》的開篇文章。[9]

當前，相當多的計算機領域的專家學者對數據密集型科研第四范式予以了關注，并進行了相應的研究，探索出了相應的方式方法，第四范式的研究被認為是大數據時代背景下軟件工程技術研發的關鍵。

信息化的發展與滲透，導致一切的事物都在隨之發生著變化。包括實驗、理論分析和計算科學均在數據泛濫的影響下與之前大不相同，軟件工程技術既要適應科研第四范式，又在其中扮演著更加重要的作用。傳統范式下的目的與探索之間不能夠很好地銜接，數據信息的應用效率難以保障，難以滿足項目管理目標的實現。數據密集型科研第四范式下的技術以及理論相關內容，與大數據技術特別是其中的存儲技術有著緊密的關聯性，其待探索的空間和應用價值相當廣闊，其數據信息研發急需相應的理論支撐，該范式下的軟件工程技術應用模塊，亦能夠對其他范式下的數據信息進行分析，對于更好地實現數據的存儲與處理，提升處理效率，有著重要的研究價值。在第四范式模式下，對集成密集型數據的軟件服務價值進行評估是首要的，需要摒棄以往的數據統計方法，構建新的針對大數據進行信息統計和分析的方法，這對軟件工程技術的發展起著重要的作用。在軟件工程技術的研究中，應當更新傳統理念，重視其對大數據的處理和分析能力，使軟件產業呈現全新的面貌，從而亦能促進其對大數據的數據分析能力。在第四范式的基礎上，亦能夠更好地支持第三范式，甚至于第一范式。該范式研究在我國軟件工程開發中還處于初級階段，軟件工程開發人員需在強化已有數據模型研究基礎上，加速由第三范式向第四范式的轉變，盡快實現其應用層面的服務價值。

5 結語

概言之，大數據時代背景下，信息化程度高度發達，社會各行各業都被大數據所包圍和滲透，且都離不開軟件工程技術。在電子支付、遠程控制、自動駕駛、智能入住、智能售貨等應用中，軟件都在其中扮演著越來越核心的作用。因此，大數據背景下應該加大對于軟件工程技術研究和軟件研發的經費投入力度，加大軟件工程人才的培養力度，特別是軟件工程復合型人才的培養力度，加大軟件工程技術人員與相關產業與領域的深度融合，不斷推動和實現軟件工程技術的創新和發展。