王秀慧

（山西大同大學教育科學與技術學院 山西省大同市 037009）

1 引言

近些年隨著社會信息化的不斷發展，信息數據呈現出爆炸式的增長，科技成果數據也不例外。對于如此龐大的數據，單一的存儲服務器模式已經不能滿足企業的需求，如何存儲海量科技成果數據成為亟待解決的問題；同時企業針對海量科技成果數據不知所措，因為無法準確的查找到本身需要的數據，導致了科技成果轉化率低，成為制約企業發展的瓶頸。

針對以上問題，結合科技成果數據的特點與企業對科技成果需求的實際情況，構建了基于Hadoop的科技成果轉化平臺。該平臺數據是以分布式的結構進行存儲，通過擴展相應存儲設備來對數據進行數據擴容，并且分布式結構極大地降低了平臺的耦合度，使其可獨立部署[1]；同時運用余弦相似度算法計算數據之間的相似程度，給企業推送所需科技成果數據以及相關數據。這樣不僅提升了企業科技成果轉化率，而且還提高了科技成果轉化的質量，進而達到使企業核心競爭力增強的目的。

2 總體設計

2.1 體系結構

基于Hadoop的科技成果轉化平臺分為兩部分：

（1）通過HDFS（分布式文件系統）來存儲海量的科技成果數據，同時應用MapReduce并結合余弦相似度算法計算數據之間相似情況，以便為企業推送所需數據。

（2）采用B/S結構、按照JavaEE標準框架標準設計與實現用戶服務，以便企業通過注冊登錄后可查詢所需數據,平臺架構圖如圖1所示。

2 關鍵技術

2.1 HDFS

HDFS是Hadoop項目的核心子項目，是Hadoop中的存儲組件，由于它涉及到數據存儲，MapReduce等計算模型都要依賴于存儲在HDFS中的數據，因此它也是最為基礎的一部分。HDFS是一個分布式文件系統，它采用了主從（Master/Slave）結構模式，由NameNode和DataNode組成。其中NameNode是主服務器，統籌管理著文件系統與文件數據的操作，而DataNode作為服務節點，管理著數據的存儲，其中數據是以塊的形式存儲，Hadoop2.0中數據塊默認大小是128MB。

HDFS的數據訪問使用流式模式：一次寫入，多次讀取，這樣更加關注的是讀取整個數據集的整體時間，提升了數據的讀寫吞吐量，但由于流式讀取，無法高效存儲大量小文件，也不支持多用戶寫入，寫操作總是以添加形式在文件數據末尾追加，并且還無法在任意位置進行修改。

2.2 MapReduce

MapReduce是一種編程模型，適應于大規模數據的并行運算。主要思想是通過Map（映射）把一組鍵值對映射成一組新的鍵值對，并自動劃分計算數據和計算任務，然后指定并發的Reduce函數來收集計算結果并再次規約計算，使得所有映射的鍵值對中的每一個共享相同的鍵組。這樣編程人員在沒有掌握分布式并行編程的情況下，就可以將自己的程序運行在分布式系統上，同時數據的處理、通信和運算等操作都交由MapReduce負責處理，大大的減少了軟件開發人員的工作量。

圖1：平臺架構圖

2.3 余弦相似度

余弦相似度[2]是一種數學模型，用于計算兩個向量的夾角角度，0度角的余弦值是1，90度角的余弦值是0，而其他任何角度的余弦值都不大于1，180度角的余弦值是-1，且是其最小值。由于余弦相似度的特性，人們發現其計算數據間的相似程度有著天生的優勢，而且計算比較簡單方便，因此在計算文本數據之間相似度的過程中得到了廣泛的應用，同時規定其取值范圍是0到1之間。其原理是：把文本數據轉化成向量數據，即文本含有的特征項的權重來表示向量數據。設文本的向量表示：di=(w1,w2,…,wp,…,wn)，wp表示某文本特征項的權重值，d'i=(w'1,w'2,…,w'p,…,w'n)，則di與d'i之間的余弦相似度計算公式如下：

3 功能設計

3.1 設計目標

圖2：平臺功能模塊圖

根據科技成果轉化平臺的實際需求進行功能設計，主要完成以下幾個目標：

（1）上傳各類科技成果數據，并審核；

（2）展示平臺各類科技成果數據；

（3）瀏覽查看科技成果相關文檔；

（4）瀏覽查看科技成果相關專家；

（5）推送科技成果數據；

（6）計算科技成果數據間相似度；

（7）科技成果數據分布式存儲；

（8）提交企業用戶的需求信息，并審核；

（9）注冊、登錄平臺；

（10）瀏覽查看平臺新聞、咨詢、政策、通知等。

3.2 主要功能

該平臺主要功能包含科技成果管理、用戶管理、專家管理、信息管理（其中包括新聞管理、通知管理、資訊管理、政策管理）、需求管理、統計管理等。平臺主要功能如圖2所示。

3 平臺實現

3.1 平臺開發環境

平臺選用Hadoop2.7作為科技成果數據存儲介質，并承載數據間相似度計算；同時應用Jdk9.0配置Java開發環境，運用Tomcat8.0作為Web服務器，數據庫使用MySql5.5，頁面設計工具使用Dream weaver2018，程序開發工具運用MyEclipse2014。

3.2 主要實現代碼

該平臺主要完成海量科技成果數據的存儲與精確數據的推送（即相似度的計算）的實現，下面是數據相似度計算源代碼。

4 結束語

該平臺采用Hadoop、按照JavaEE框架標準、使用余弦相似度等信息技術，根據科技成果轉化實際需要進行開發，實現了全部設計需求，做到了界面友好、平臺運行安全、可操作性強等特點。此平臺的實現將科技成果數據以分布式的結構進行存儲，解決了海量數據存儲難的問題；同時使用余弦相似度計算數據間相似程度，解決了為企業推送所需數據難的問題。我們相信隨著此平臺在科技成果轉化工作中的逐步深入，將會大大提升企業科技成果轉化率、提高科技成果轉化質量。