基于大數據時代下軟件工程技術的應用探析

呂盟 同方知網數字出版技術股份有限公司

引言

大數據（big data）是描述大量數據的一種術語，其中包括結構化數據和非結構化數據，覆蓋了大量的業務。運用大數據技術，可以從各種類型的數據中快速獲得有價值信息，其意義不僅僅是對數據量的管理，更重要的是對重要數據的處理方式，可以洞察分析大數據，從而獲得更好的決策和戰略性業務變動。

隨著對大數據技術的不斷探索和完善，目前在大數據領域已經涌現出了大量新的技術，成為大數據采集、存儲、處理和呈現的有力武器。

大數據處理關鍵技術一般包括：大數據采集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用等，其中應用又包括：大數據檢索、大數據可視化、大數據安全。

一、大數據時代下，計算機行業的發展

大數據時代的來臨，對計算機行業的發展產生了巨大影響，數據處理技術翻天覆地的變化，催生了人們思維的變革：從依靠隨機部分數據樣本，到利用全體數據；從過分追求精確性，到逐漸適應混雜性；從因果關系的思維模式，向相關關系演變。

相比于其他計算機技術，大數據的“廉價、迅速、優化”給企業的綜合成本提供了最優解。

曾經IBM 拋棄了PC，并成功轉向了軟件和服務，現在他們將遠離服務與咨詢，將注意力集中在因大數據分析軟件而帶來的全新業務增長點。我國的百度與騰訊也相繼開發自己的大數據處理和存儲系統。從2009 年開始，發生了一系列以大數據為主題的企業并購案，其數量和規模呈遞增趨勢。以Oracle 并購Sun 和惠普并購Autonomy最為典型，兩起并購涉及金額高達176 億美元。

二、大數據時代下計算機工程技術的應用

數據虛擬化

數據虛擬化技術是在數據傳輸網中建立服務，并在IT 架構層中查看和分析不同來源的數據集，而實際意義上的數據并未從原本物理系統中移動。

在大數據時代下的計算機軟件技術應用中，虛擬化技術是重點應用之一。通過內部優化配置，將虛擬資源進行整合分流管理，進而加快信息處理速度，保證效率。將大數據與虛擬化技術相結合，是當前計算機軟件技術應用的大趨勢，國內外很多企業都開始投入到相關項目的研究中，它與人們的日常生活息息相關，從某種意義上講，甚至可以改變人們的生活。以VMware 虛擬化大數據為例：

1. 簡化大數據管理

虛擬化為Hadoop 等大數據應用提供了支持。其優勢在于，簡化大數據基礎架構的管理可以更快地取得成效，從而提高成本效益，而這些是在物理基礎架構環境中是無法實現的。VMware 不僅是傳統應用的最佳平臺，更是大數據的最佳平臺。

2. 服務器虛擬化

借助虛擬化這項已經過驗證的軟件技術，可在同一臺服務器上同時運行多個操作系統和應用，提高了 IT 敏捷性、靈活性和可擴展性，同時大幅度的節約了成本。并且，工作負載的部署速度更快、性能和可用性得到提升、運維實現自動化，這讓 IT 管理工作變得更加簡單。

3. 確保系統正常運行

vSphere High Availability (HA) 可針對具體虛擬化環境中的硬件和操作系統故障提供故障轉移保護，通過啟動集群中其他主機上的虛擬機來保證用戶的正常使用和系統的正常運行，最大限度的縮短了因故障而無法運作的時間。HA 為所有應用建立了自我保護機制，無需修改應用或客戶機操作系統。

4. 共享數據中心資源

vSphere 內容庫支持管理員將內容分組整理到可單獨進行配置和管理的庫中。創建庫后，即可跨越 vCenter Server 的邊界共享內容，確保整個數據中心的一致性。

5. 優先為虛擬機分配資源

通過vSphere Network I/O Control (NIOC) 和 vSphere Storage I/O Control (SIOC) 對網絡和存儲進行監控，并根據工程師設置的規則和策略自動將資源轉移到高優先級應用。并通過跨vSphere 主機集群動態分配 I/O 容量來解決網絡或存儲使用率問題。

三、結束語

綜上所述，大數據時代的到來，為計算機行業的發展，特別是軟件工程，提供了新的方向。它為計算機軟件的開發提供了新思維，但也要結合社會背景，根據不同行業的需求來做判斷。大數據與計算機軟件應用相結合，也不僅僅體現在虛擬化技術，云存儲、信息安全等方向同樣與大數據緊密相連。大數據技術在諸多領域的應用，將其推向了信息化技術變革的新高度，也是未來的發展方向。