NoSQL在學生電子履歷信息管理系統(tǒng)中的應用

【摘 要】學生電子履歷建設對于學習實習、職業(yè)規(guī)劃、求職晉升等方面有著重要意義。通過分析現狀，從web網站分布式技術架構中引入NoSQL數據庫，與關系型數據庫相結合，為結構化信息、非結構化數據的存取提供一個統(tǒng)一數據模型接口，便于應用。

【關鍵詞】履歷 非結構化數據 NoSQL 統(tǒng)一數據模型

【中圖分類號】G 【文獻標識碼】A

【文章編號】0450-9889（2014）10C-0187-03

構建現代職業(yè)教育體系，推動進入終身教育社會，其中學生履歷管理是保障條件之一。在學生經歷普通教育、職業(yè)教育、繼續(xù)教育的過程中，會產生大量有價值的教育培訓、職業(yè)經歷、工作業(yè)績等信息，需要保存在履歷中，用于求學、實習、求職、晉升等證明。

履歷信息具有“碎片性”和“發(fā)展性”兩個基本特性。其中“碎片”是信息具有零碎、繁雜、多樣的橫向特性。履歷中使用類別項進行分類，主要分為：個人信息，專業(yè)信息，課程成績，職業(yè)操行，培訓認證，獎懲，實踐創(chuàng)新與其他。“發(fā)展性”是指隨著學生成長成才，發(fā)展進步，履歷信息會逐步變遷，級別晉升，證書升級等。過程性信息需要保留，方便統(tǒng)計職業(yè)發(fā)展軌跡，研究成才規(guī)律。

一、當前研究現狀

目前對履歷信息管理研究集中在人力資源管理和檔案管理。如陳哲娟研究了履歷業(yè)績評價在領導干部選拔任用的作用、業(yè)績評價指標等。劉大衛(wèi)論證履歷深度分析法在高管人員甄選中的作用，并指出其使用的局限性。田瑞強等從履歷研究的發(fā)展、數據源、分析方法及存在缺陷等方面進行了闡述，同時指出了履歷研究的發(fā)展趨勢，從理論上對科技人員履歷及人才流失問題進行了分析探討。同時，履歷被引入產品管理范疇，對產品履歷的研究也逐步成為熱點。郝玲、陳勇等研究農情履歷、現代信息采集手段在現代精準農業(yè)、農業(yè)信息管理中的應用。丁偉將電子履歷應用于軍隊車輛裝備管理，提高了車輛裝備管理的效率和科學化水平。

現代履歷信息管理系統(tǒng)信息存儲環(huán)節(jié)，經歷了從紙質履歷到Excel表格文檔，正逐步向關系型數據庫遷移的階段。在當前工程實踐中，信息數據源主要有以下四種方式。

（一）文件系統(tǒng)方式

以文件格式作為數據源，管理傳感器采集設備上傳的非結構化數據，存放于服務器文件系統(tǒng)中。

優(yōu)點是存取速度快，操作方便。

缺點是隨著數據規(guī)模快速增長，目錄結構混亂，難以管理；無法與應用層權限管理協同使用，存在安全隱患；數據難于遷移。

（二）關系型數據庫方式

將非結構數據直接存放到數據庫表的二進制字段中。優(yōu)點是有較好的安全性，實現數據存取操作的一致性。缺點是數據庫IO是整個系統(tǒng)的性能瓶頸，使得數據表規(guī)模快速增加，進一步降低性能。

（三）專用商業(yè)數據庫

應用范圍較窄，且代價昂貴。

（四）云計算平臺

公用云計算平臺提供了大數據解決方案，但由于行業(yè)特殊性，公有云的安全性還需要評估。

本文在文件、關系型數據庫基礎上，引入NoSQL數據庫，綜合使用三種數據源，提供一致的數據模型接口，實現結構化數據和非結構化數據同步管理，按照時間標簽階段性保存履歷更新，從而優(yōu)化履歷的管理，提高信息共享與復用。

研究農情履歷超文本信息規(guī)范存儲管理的關鍵技術，構建一致的模型層，引入元數據、時間標簽、NoSQL等技術，構建履歷信息的存儲系統(tǒng)原型。

二、系統(tǒng)設計

（一）系統(tǒng)功能設計

系統(tǒng)功能模塊：學生個人信息管理；教學培訓信息管理，包括課程成績、考勤、培訓認證活動管理；獎懲信息管理；實習實踐活動管理；信息檢索、排序、統(tǒng)計等。

（二）系統(tǒng)框架分析

系統(tǒng)按照MVC模式進行分層設計，系統(tǒng)構架如圖1所示。具體功能如下：

1.視圖層——提供用戶UI，用于接收來自智能傳感器上傳的影像、圖片或其它非結構化數據，記錄傳感器節(jié)點信息，并標記文件流的元數據。

2.控制器層——根據訪問路徑（如url）得到用戶請求意圖，處理請求，并調用Model層完成數據流的存儲或讀取。

3.Model層——根據Controller要求，完成具體的數據庫操作。

4.數據源系統(tǒng)——由關系型數據庫、非關系型數據庫及擴展文件系統(tǒng)三部分組成。其中結構化信息和非結構化數據元信息存儲在關系型數據庫中，非結構化數據存放到非關系型數據庫NoSQL及私有云計算平臺上。

5.控制采集中心——對系統(tǒng)進行管理與維護，能實時監(jiān)測系統(tǒng)的運行狀態(tài)，查看監(jiān)測對象的履歷信息，進行分析與決策，并控制定時與隊列模塊運行管理，及時更新數據信息。

圖1

（三）系統(tǒng)選型

表1 軟件選型

軟件名稱 作用

Ubuntu 服務器操作系統(tǒng)

Python 程序語言，用于原型開發(fā)

Flask Web微框架

MongoDB NoSQL數據庫

Pymongo python的MongoDB驅動

Pygridfs Python的GridFS驅動

Mysqldb Python的MySQL驅動

SQLAlchemy Python的ORM套件

數據源綜合采用關系型數據庫、NoSQL數據庫及分布式文件系統(tǒng)，用于存取、檢索學生電子履歷信息。為增加可靠性，降低成本，在軟件選型中，優(yōu)先選擇成熟、穩(wěn)定的開源軟件產品構建。

MongoDB 作為NoSQL 開源數據庫的一種主流分布式數據庫，基于對象/文檔形式存儲，提供BSON（Binary JSON） 數據結構形式存儲，有便利的查詢索引方式，提供分布式文件系統(tǒng)GridFS 來進行存儲管理，使得定制信息變得靈活，擴展數據變得高效。

三、關鍵原型實現

（一）履歷信息采集元數據字段約定

為便于生成索引，我們需要對文件命名進行約定。“類別”用兩位數字表示采集信息所屬的類別；“節(jié)點”是指個人、組織或機構，一般值為自己、院系辦公室、授予機構等；“證明者”對于不同類別含義不同，如果是資格證，則表示授予單位，如果是校內活動證明等，則表示院內機構負責人；“審核者”是審核材料有效，允許上傳的院系、教學團隊負責人；“當前最新”是當有多項同類材料中，時間最新或級別最高的材料為當前，否則為歷史；“時間”是指材料獲取時間，為方便存儲、檢索需要，轉化為整型。調用程序語言的uuid（）生成隨機唯一值，保留32bit。此外還有預留字段，用于保存不常用的信息屬性。

表2 采集信息元數據約定字段示例

其中，上表中各項值作為結構化數據，在數據采集上傳、協議解析后，按照協議生成元數據，及時存入關系型數據庫MySQL數據表中。同時各項值用于生成非結構化數據文件名。將其或ObjectId值更新到MySQL數據表的履歷表對應字段中。從而完成結構化數據和非結構化數據同時添加到數據源中。

（二）信息共享利用與導出歸檔

數字化信息需要及時歸檔。通過歸檔整理，把數據庫動態(tài)數據轉化生成為靜態(tài)、只讀屬性的文件形式存放，供后續(xù)者查閱。由于網頁是超文本信息的天然組織者，因此優(yōu)先選擇靜態(tài)頁面方式歸檔信息，批量結構化數據可以導出為Excel，政策文件、結果或結論性的信息按照模板格式生成PDF文檔。

（三）一致數據模型實現

SQLAlchemy是Python實現的數據隊形映射模型包，主要實現python對SQL數據庫的跨平臺操作。基于SQLAlchemy模型，使用pyMongo和mysqld驅動程序，對農情信息建立統(tǒng)一數據模型。而不是直接使用SQL與原生執(zhí)行命令對數據進行管理。

限于篇幅，只給出GridFS上傳關鍵代碼示例：

// 導入必需的包

from sqlalchemy.ext.declarative

import declarative_base

from pymongo import Connection

from gridfs import *

#文件處理系統(tǒng)

class GFS：

#定義connection and fs

#初始化

def __init__（self）：

#獲得單件對象

@staticmethod

def getInstance（）： pass

Def put（self，name，**args）：

try：

data= StringIO.StringIO（）

image.save（data，format）

gf = GFS.fs.open（name，"w"）

gf.content_type = "%s/%s" % （mime，format）

gf.write（data.getvalue（））

finally：

Base = declarative_base（）

class HypertextModel（Base）：

// 使用SQLAlchemy聲明字段屬性

__tablename__ = 'picking'

id = Column（Integer， primary_key=True）

// 對照表2字段，依次聲明

//初始化方法，

def __init__（self， .....）：

def write（data=[]， params=[]）：

dstfile = None

// 保存元素據

// 確定文件名

for x in data：

dstfile = dstfile + “_”+x

Session.add（HypertextMode（data））

Params[0] = dstfile

// 將文件上傳到GridFS

GFS.put（params）

四、結果分析

經驗證，MongoDB在百萬條數據，單條數據低于5K時，性能低于純文件系統(tǒng)50%左右。當單條數據逐漸增大時，兩者差距逐漸減小。當數據規(guī)模處于大尺寸，如高清圖片、視頻時，MongoDB的性能穩(wěn)定，并可輕松擴展成數據庫集群。

隨著新一代信息技術的發(fā)展，物聯網、云計算等技術在電子履歷各個環(huán)節(jié)中應用日趨深入。學生電子履歷信息采集的數據具有橫向“碎片化”，縱向發(fā)展性等特征明顯，信息過載癥狀顯現。通過引入MongoDB和MySQL混合數據庫技術，結合分布式文件系統(tǒng)，構建統(tǒng)一數據模型接口，充分利用兩者優(yōu)勢，實現了數據的有序、高效、安全地存儲，有效降低成本，提高了項目效益。在后續(xù)的研究中，對數據格式、傳輸協議等規(guī)范，數據共享技術需進一步的研究。

【參考文獻】

[1]陳哲娟. 履歷業(yè)績評價方法在領導干部競爭性選拔中的應用[J].中國人力資源開發(fā)，2012（3）

[2]田瑞強，姚長青，袁軍鵬，等.基于科研履歷的科技人才流動研究進展[J].圖書與情報，2013（5）

[3]徐棟.基于MongoDB的SaaS數據層多租戶關鍵技術研究與實現[D].上海：華東理工大學，2012

[4]潘凡. 從MySQL到MongoDB[J].程序員，2010 （6）

[5]王光磊. MongoDB數據庫的應用研究和方案優(yōu)化[J].中國信息科技，2011（20）

【基金項目】2012年度廣西高等教育教學改革工程一般A類項目（2012JGA336）

【作者簡介】苗志鋒（1979- ），男，河北邯鄲人，碩士，廣西水利電力職業(yè)技術學院講師，研究方向：形式化方法，網絡分布式系統(tǒng)，職業(yè)教育。