海量數(shù)據(jù)下國(guó)際空運(yùn)代理系統(tǒng)的研究和開(kāi)發(fā)

周建輝

(江蘇工程職業(yè)技術(shù)學(xué)院 機(jī)電工程學(xué)院，江蘇 南通 226007)

?

海量數(shù)據(jù)下國(guó)際空運(yùn)代理系統(tǒng)的研究和開(kāi)發(fā)

周建輝

(江蘇工程職業(yè)技術(shù)學(xué)院 機(jī)電工程學(xué)院，江蘇 南通 226007)

首先介紹開(kāi)發(fā)國(guó)際空運(yùn)代理系統(tǒng)的背景和意義，從架構(gòu)設(shè)計(jì)、功能設(shè)計(jì)、數(shù)據(jù)庫(kù)設(shè)計(jì)和性能優(yōu)化四個(gè)方面闡述系統(tǒng)設(shè)計(jì)，重點(diǎn)探討海量數(shù)據(jù)下的性能優(yōu)化技術(shù)，分析項(xiàng)目構(gòu)成和三層架構(gòu)，詳細(xì)探討標(biāo)簽打印和自動(dòng)軟件升級(jí)的實(shí)現(xiàn)。實(shí)踐證明，系統(tǒng)運(yùn)行可靠穩(wěn)定，操作方便，有較好的參考價(jià)值。

海量數(shù)據(jù); 系統(tǒng)設(shè)計(jì); 性能優(yōu)化; 三層架構(gòu)

國(guó)際空運(yùn)代理系統(tǒng)應(yīng)用在跨境物流企業(yè)，目前，國(guó)內(nèi)的空運(yùn)代理軟件研究水平較低，尚未形成成熟的應(yīng)用很廣的軟件。國(guó)外空運(yùn)代理軟件雖然起步較早，研究水平較高，但存在本地化問(wèn)題。在此背景下，筆者針對(duì)以空運(yùn)為物流方式的國(guó)內(nèi)跨國(guó)物流企業(yè)，在多方了解和熟悉相關(guān)企業(yè)的業(yè)務(wù)流程基礎(chǔ)上，研究和開(kāi)發(fā)了功能比較全面、性能較高、操作方便、支持海量數(shù)據(jù)的國(guó)際空運(yùn)代理系統(tǒng),以期通過(guò)企業(yè)實(shí)際運(yùn)用該系統(tǒng)，切實(shí)地降低物流成本，促進(jìn)物流企業(yè)的國(guó)際化信息化，產(chǎn)生明顯的經(jīng)濟(jì)效益和社會(huì)效益。

1 系統(tǒng)設(shè)計(jì)

依據(jù)瀑布模型軟件開(kāi)發(fā)方法,分別從系統(tǒng)架構(gòu)、系統(tǒng)功能、數(shù)據(jù)庫(kù)、系統(tǒng)性能四個(gè)方面對(duì)系統(tǒng)進(jìn)行分析。 設(shè)計(jì)過(guò)程中重點(diǎn)考慮了功能的全面性、系統(tǒng)的可擴(kuò)展性、性能的優(yōu)化及良好的用戶(hù)體驗(yàn)。本系統(tǒng)采用VS.Net2010旗艦版開(kāi)發(fā)工具，數(shù)據(jù)庫(kù)采用SQLServer2005,版本管理軟件采用VisualSVN和TortoiseSVN[1]。

1.1 架構(gòu)設(shè)計(jì)

物流企業(yè)的業(yè)務(wù)量每天成千上萬(wàn)，需要空運(yùn)代理系統(tǒng)實(shí)時(shí)性強(qiáng)，運(yùn)行穩(wěn)定可靠，故系統(tǒng)主體采用基于存儲(chǔ)過(guò)程的三層C/S架構(gòu)。考慮到系統(tǒng)的安全性和可擴(kuò)充性，系統(tǒng)客戶(hù)端不直接訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)，而是通過(guò)Web服務(wù)[2]提供的數(shù)據(jù)處理服務(wù)完成業(yè)務(wù)處理。Web服務(wù)還可以為PDA應(yīng)用程序提供數(shù)據(jù)服務(wù)。為了便于系統(tǒng)的維護(hù)升級(jí)，降低系統(tǒng)的耦合度，子模塊均封裝為DLL。系統(tǒng)架構(gòu)圖如圖1所示。

圖1 系統(tǒng)架構(gòu)

圖1中打包和發(fā)布程序?qū)l(fā)布的Windows程序打成壓縮包，并在指定文件寫(xiě)入最新版本號(hào)，便于Windows程序主模塊及時(shí)識(shí)別是否有新版本，如果有就即時(shí)下載、解壓并更新程序，以達(dá)到客戶(hù)端能自動(dòng)更新版本的目的。

1.2 功能設(shè)計(jì)

系統(tǒng)功能比較全面，包含系統(tǒng)用戶(hù)管理、基礎(chǔ)數(shù)據(jù)管理、網(wǎng)點(diǎn)管理、出口快件管理、財(cái)務(wù)管理、業(yè)務(wù)報(bào)表等，操作主界面采用專(zhuān)業(yè)的360殺毒軟件的風(fēng)格，支持多線(xiàn)程、多任務(wù)操作，使用水晶報(bào)表作為報(bào)表設(shè)計(jì)工具，多種方法實(shí)現(xiàn)系統(tǒng)多語(yǔ)言(中英文)支持。功能圖如圖2所示。

圖2 系統(tǒng)功能

1.3 數(shù)據(jù)庫(kù)設(shè)計(jì)

該系統(tǒng)功能較多，邏輯關(guān)系復(fù)雜，設(shè)計(jì)的表總共有65個(gè)。設(shè)計(jì)數(shù)據(jù)庫(kù)重點(diǎn)考慮3點(diǎn):

1.3.1 適當(dāng)保持?jǐn)?shù)據(jù)的冗余性 表之間的外鍵關(guān)系約束較多時(shí)會(huì)給數(shù)據(jù)查詢(xún)帶來(lái)不小的開(kāi)銷(xiāo)，所以保持適當(dāng)?shù)娜哂嘈詴?huì)減少查詢(xún)時(shí)表連接的次數(shù)，從而提高效率。

1.3.2 使用全球唯一標(biāo)識(shí)符設(shè)置表的主鍵 在分單業(yè)務(wù)表中，數(shù)據(jù)量隨著系統(tǒng)運(yùn)行會(huì)急劇增大，如果采用普通的自增型整形作為主鍵，可能不夠用，另外該業(yè)務(wù)是分布式的，那么在合并分布式表時(shí)可能會(huì)產(chǎn)生主鍵沖突，使用全球唯一標(biāo)識(shí)符可以完美地解決以上問(wèn)題。

1.3.3 編寫(xiě)適當(dāng)?shù)囊晥D和存儲(chǔ)過(guò)程 為了簡(jiǎn)化SQL語(yǔ)句的編寫(xiě)，編寫(xiě)了11個(gè)視圖。存儲(chǔ)過(guò)程可以有效地防止SQL注入攻擊，提高性能，所以系統(tǒng)基于存儲(chǔ)過(guò)程。大部分的存儲(chǔ)過(guò)程使用第三方工具自動(dòng)產(chǎn)生，少部分個(gè)性化的存儲(chǔ)過(guò)程自行編寫(xiě)。

部分表的名稱(chēng)和作用如表1所示。部分視圖的名稱(chēng)和作用如表2所示。部分存儲(chǔ)過(guò)程的名稱(chēng)和作用如表3所示。

表1 部分表

表2 部分視圖

表3 部分存儲(chǔ)過(guò)程

1.4 性能優(yōu)化

1.4.1 設(shè)計(jì)恰當(dāng)?shù)乃饕齕3]索引相當(dāng)于書(shū)的目錄或索引，可以提供對(duì)數(shù)據(jù)的快速訪(fǎng)問(wèn)。索引建立在頻繁使用的、用以縮小范圍的查找字段或排序字段上。例如在AirCargo_AddressCity的AirCargo_AddressPre_Code字段上建立普通索引，可以快速根據(jù)省份查找該省的城市信息。由于聚集索引是唯一的，所以聚集索引應(yīng)該建立在最頻繁使用的字段上。

1.4.2 使用分區(qū)視圖[4]由于業(yè)務(wù)數(shù)據(jù)每天都產(chǎn)生成千上萬(wàn)條，日積月累將會(huì)對(duì)數(shù)據(jù)的查詢(xún)和插入產(chǎn)生較大的影響。如果不采用一定的方法，最終會(huì)成為系統(tǒng)的瓶頸。根據(jù)自然的時(shí)間節(jié)點(diǎn)月和查詢(xún)要求，將一些業(yè)務(wù)數(shù)據(jù)表拆分成12張結(jié)構(gòu)相同的表，以分別記錄從1月到12月的業(yè)務(wù)數(shù)據(jù)，拆分后的表命名可以使用原表名+月編號(hào)，例如AirCargo_HAWBData_01來(lái)命名一月份分單業(yè)務(wù)數(shù)據(jù)表，然后在每個(gè)表中建立一個(gè)只能插入對(duì)應(yīng)月數(shù)據(jù)的約束，然后建立分區(qū)視圖，業(yè)務(wù)數(shù)據(jù)還可以設(shè)定最多保存六個(gè)月的數(shù)據(jù)，每隔一個(gè)月將最早的一個(gè)月數(shù)據(jù)轉(zhuǎn)儲(chǔ)到歷史數(shù)據(jù)庫(kù)中，從而確保業(yè)務(wù)數(shù)據(jù)庫(kù)中每個(gè)業(yè)務(wù)表中最多只保存一月的數(shù)據(jù)。這樣在插入記錄時(shí)，減少了表鎖定的范圍，提高了鎖性能。查詢(xún)記錄時(shí)可以通過(guò)分區(qū)視圖快速并行的在各個(gè)分表中查詢(xún)，查詢(xún)效率大大提高。

1.4.3其他優(yōu)化方法[5]其他優(yōu)化方法還有很多。例如在本系統(tǒng)中，根據(jù)實(shí)際的業(yè)務(wù)規(guī)模適當(dāng)?shù)夭捎梅植际綌?shù)據(jù)庫(kù)技術(shù)，可以有效地減輕中央數(shù)據(jù)庫(kù)的負(fù)擔(dān)。分布式數(shù)據(jù)可以根據(jù)不同的地域存儲(chǔ)，存儲(chǔ)格式可以使用簡(jiǎn)易數(shù)據(jù)庫(kù)管理系統(tǒng)，然后在空閑時(shí)間段合并分布式數(shù)據(jù)。

另外,可以單獨(dú)編寫(xiě)一個(gè)后臺(tái)進(jìn)程，完成系統(tǒng)所需要的所有統(tǒng)計(jì)和計(jì)算工作，并將統(tǒng)計(jì)和計(jì)算結(jié)果寫(xiě)入到指定的表，可以提高查詢(xún)性能。

2 系統(tǒng)實(shí)現(xiàn)

2.1 項(xiàng)目構(gòu)成

整個(gè)系統(tǒng)在.Net實(shí)現(xiàn)時(shí)表現(xiàn)為一個(gè)解決方案，方案命名為International Air Cargo System,它由多個(gè)項(xiàng)目構(gòu)成。項(xiàng)目名稱(chēng)、項(xiàng)目類(lèi)型和項(xiàng)目作用如表4所示。

2.2 三層架構(gòu)[6]實(shí)現(xiàn)

本系統(tǒng)采用三層架構(gòu)，項(xiàng)目之間的引用和調(diào)用情況可以用圖3表示。

圖3 系統(tǒng)三層架構(gòu)

序號(hào)項(xiàng)目名稱(chēng)項(xiàng)目類(lèi)型項(xiàng)目作用1AirCargo_LoginWindows窗體應(yīng)用程序客戶(hù)端主程序登錄、操作主界面和調(diào)用子模塊DLL2AirCargo_WebServiceWeb服務(wù)程序?yàn)榭蛻?hù)端程序提供數(shù)據(jù)服務(wù)3AirCargo_Model類(lèi)庫(kù)程序?qū)嶓w層,為數(shù)據(jù)訪(fǎng)問(wèn)層、業(yè)務(wù)邏輯層和表示層提供數(shù)據(jù)傳輸方式4AirCargo_Dal類(lèi)庫(kù)程序數(shù)據(jù)訪(fǎng)問(wèn)層類(lèi)庫(kù)5AirCargo_User類(lèi)庫(kù)程序用戶(hù)管理子模塊6AirCargo_BaseData類(lèi)庫(kù)程序基礎(chǔ)數(shù)據(jù)管理子模塊7ExpressAndEC_Export類(lèi)庫(kù)程序出口快件子模塊8AirCargo_Report類(lèi)庫(kù)程序報(bào)表子模塊9Helper類(lèi)庫(kù)程序提供輔助功能,例如MD5加密、發(fā)送Email、文件上傳和下載等

本系統(tǒng)的三層架構(gòu)有本身的特點(diǎn)，體現(xiàn)在以下幾個(gè)方面：

①三層架構(gòu)是分離的。AirCargo_Login是三層架構(gòu)的表示層。AirCargo_WebService是三層架構(gòu)的業(yè)務(wù)邏輯層,它引用實(shí)體層和數(shù)據(jù)訪(fǎng)問(wèn)層對(duì)表示層提供服務(wù)。

②三層架構(gòu)是C/S程序和Web服務(wù)程序的融合。在該三層架構(gòu)中，既有Windows應(yīng)用程序，又有Web服務(wù)程序,同時(shí)具有C/S和B/S的特點(diǎn)，充分利用兩者的各自?xún)?yōu)點(diǎn)。

③表示層中的實(shí)體類(lèi)是引用Web服務(wù)程序時(shí)映射而成的。Web服務(wù)程序可以直接引用Model項(xiàng)目，但表示層中對(duì)應(yīng)的實(shí)體類(lèi)是Web服務(wù)引用中間接產(chǎn)生的。

2.3 標(biāo)簽打印[7]

標(biāo)簽打印的技術(shù)目前有兩種：水晶報(bào)表和CodeSoft插件。水晶報(bào)表功能強(qiáng)大，Crystal Report Viewer13.0版本除了支持一般的統(tǒng)計(jì)、分組、交叉報(bào)表之外，還可以支持條形碼。較好地滿(mǎn)足了本系統(tǒng)中設(shè)計(jì)和打印面單、標(biāo)簽和條碼的需求。缺點(diǎn)是該版本已經(jīng)不與VS.Net2010旗艦版集成，需要手動(dòng)集成，操作比較麻煩。

CodeSoft10.0可以輕松靈活地設(shè)計(jì)和打印標(biāo)簽，可以集成在.Net里，標(biāo)簽可以矢量打印，缺陷是不免費(fèi)，免費(fèi)的試用版受到很多限制。本系統(tǒng)使用水晶報(bào)表作為制作標(biāo)簽的工具。

2.4 軟件自動(dòng)升級(jí)實(shí)現(xiàn)[8]

首先分別在服務(wù)器和客戶(hù)端新建兩個(gè)XML文件，記錄服務(wù)器端和客戶(hù)端的軟件版本號(hào)。

①服務(wù)器端ServerUpdateFile.XML文件

……

〈rootserver〉

〈version no="1.0.0.1" remark="服務(wù)器端版本號(hào)"〉

〈/version〉

〈fileZip filename="down.zip" hash="***" remark="服務(wù)器端升級(jí)壓縮包名稱(chēng)及哈希值"〉

〈/fileZip〉

〈/rootserver〉

……

服務(wù)器端使用工具生成一個(gè)升級(jí)包后，修改該文件中對(duì)應(yīng)的版本號(hào)

②客戶(hù)端LocalVersion.xml文件

〈RootLocal〉

〈version no="1.0.0.1" remark="本地版本號(hào)"〉

〈/version〉

〈ServerDownloadUrl ="***" remark="升級(jí)地址"〉

〈/ServerDownloadUrl〉

〈ApplicationName name="***" remark="宿主程序"〉

〈/Application〉

〈RootLocal〉

用戶(hù)登錄之前從服務(wù)器獲取ServerUpdateFile.XML文件,判斷本地XML文件中的版本號(hào)是否比服務(wù)器上小，如果小，則殺掉主進(jìn)程,自動(dòng)進(jìn)入更新程序。如果等于，則進(jìn)入登錄窗口，運(yùn)行主程序。

3 總結(jié)

本系統(tǒng)經(jīng)試運(yùn)行，運(yùn)行界面美觀、穩(wěn)定可靠、性能在可以接受的范圍內(nèi)，支持月快遞量十萬(wàn)級(jí)。系統(tǒng)能較好地適應(yīng)用戶(hù)的可變多樣化的需求，快遞攬件、查詢(xún)和統(tǒng)計(jì)比較方便，支持面單打印和粘貼，支持條形碼輸入，降低了人工成本，可以快速產(chǎn)生報(bào)關(guān)時(shí)所需的數(shù)據(jù)，縮短了快遞流轉(zhuǎn)時(shí)間，可以導(dǎo)出報(bào)表數(shù)據(jù)以便與關(guān)系方校核，省去了很多中間環(huán)節(jié)，產(chǎn)生了較好的社會(huì)價(jià)值和經(jīng)濟(jì)價(jià)值。系統(tǒng)運(yùn)行成熟后，可向跨國(guó)航空物流企業(yè)推廣使用，對(duì)于需要開(kāi)發(fā)Windows程序的應(yīng)用場(chǎng)合具有較好的參考意義。

[1] 戴楠,閆明星. 用SVN實(shí)現(xiàn)軟件的版本控制[J]. 電腦知識(shí)與技術(shù),2009(16):4289-4290.

[2] 羅玲,白曉穎. Web服務(wù)技術(shù)的分析[J]. 計(jì)算機(jī)科學(xué),2004(4):19-23.

[3] 于風(fēng)山,趙衛(wèi)東,田剛. SQL Server數(shù)據(jù)庫(kù)設(shè)計(jì)優(yōu)化技術(shù)[J]. 福建電腦,2006(2):132-133.

[4] 馬小麗,姜贊梅. MS SQL Server2000中大數(shù)據(jù)量表的拆分與實(shí)現(xiàn)[J]. 電氣傳動(dòng)自動(dòng)化,2013(5):46-48.

[5] 谷震離. SQL Server數(shù)據(jù)庫(kù)應(yīng)用程序性能優(yōu)化方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì),2006(15):2884-2886.

[6] 高揚(yáng). 基于.NET平臺(tái)的三層架構(gòu)軟件框架的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)技術(shù)與發(fā)展,2011(2):77-80.

[7] 薛冰. 基于.NET的標(biāo)簽打印設(shè)計(jì)與實(shí)現(xiàn)[J]. 電腦編程技巧與維護(hù),2014(9):57-59.

[8] 肖江文,廖幼文. C/S結(jié)構(gòu)下客戶(hù)端軟件自動(dòng)升級(jí)的方法研究[J]. 計(jì)算機(jī)工程與應(yīng)用,2005(35):95-97.

責(zé)任編輯 俞林

The research and development of international air agent system based on mass data

ZHOUJianhui

(School of Mechanical and Electrical Engineering, Jiangsu College of Engineering and Technology, Nantong 226007, China)

Firstly, this paper introduces the background and significance of developing the international air agent system. It then elaborates the system design from the aspects of architecture design、functional design、database design and performance optimization. The performance optimization technology of mass data is discussed in detail in the paper. It also analyzes the project structure and the three tier architecture, discusses the realization of label printing and automatic software upgrading in detail. Practice proves that the system is reliable and stable, easy to operate, and has a good reference value.

mass data; system design; performance optimization; three tier architecture

2016-06-24

項(xiàng)目來(lái)源：江蘇工程職業(yè)技術(shù)學(xué)院院級(jí)項(xiàng)目(GYKY/2015/16)

周建輝(1976— )，男，江蘇南通人，副教授，碩士，研究方向：大數(shù)據(jù)處理、軟件工程。

10.13750/j.cnki.issn.1671-7880.2016.06.016

TP 311.5

A

1671-7880(2016)06-0057-04