999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

氣象私有云環(huán)境下存儲架構設計與性能分析

2017-06-05 14:15:40韓同欣
計算機技術與發(fā)展 2017年5期

王 彬,韓同欣,李 楠

(國家氣象信息中心,北京 100081)

氣象私有云環(huán)境下存儲架構設計與性能分析

王 彬,韓同欣,李 楠

(國家氣象信息中心,北京 100081)

為評估當前氣象私有云平臺中存儲基礎架構設計的合理性以及運行性能狀況,并為將來擴充平臺存儲能力提供必需的架構級建設依據,從私有云所使用存儲的存儲協(xié)議、硬件性能等方面入手,在系統(tǒng)分析云計算環(huán)境下存儲系統(tǒng)設計要點的基礎上,給出了云環(huán)境下存儲架構的設計思路,提出了云環(huán)境下結合不同業(yè)務數據讀寫特點的支持SAN、NAS多協(xié)議存儲架構建設的思路,以構建統(tǒng)一存儲資源池。結合實際搭建的氣象私有云,分析其虛擬化環(huán)境下的存儲應用性能。驗證實驗結果表明,當前環(huán)境中存儲架構規(guī)劃以及配置方式合理,存儲各項性能運行指標良好,針對不同類型的應用均有適合的存儲資源以供匹配,已建存儲架構能夠滿足氣象業(yè)務科研系統(tǒng)的存儲需求。

氣象私有云;存儲性能設計;多協(xié)議存儲架構;光纖通道存儲;NAS存儲;分布式存儲;存儲資源池

0 引 言

云計算是近年來興起并廣受關注的一種資源提供、使用和計算模式:“云計算是由規(guī)模經濟拖動,為互聯(lián)網上的外部用戶提供一組抽象的、虛擬化的、動態(tài)可擴展的、可管理的計算資源能力、存儲能力、平臺和服務的一種大規(guī)模分布式計算的聚合體”[1-2]。云計算環(huán)境中,任務作業(yè)分布在資源池中,各種應用系統(tǒng)能夠根據需要實時獲取計算能力、存儲空間和各種基礎軟件服務,云計算平臺可以按需對資源、平臺和軟件進行動態(tài)地部署、配置、重新配置以及取消等。云計算具有資源虛擬化、存儲高效可靠、高可擴展性、集約管理、按需服務、“超瘦”客戶端、使用方便等優(yōu)點[3-5]。

相比于傳統(tǒng)的IT系統(tǒng)建設與資源提供方式,云計算能夠有效提升IT資源利用率,降低管理復雜度,加快IT響應速度。經過多年的發(fā)展,云計算已成為當前數據中心轉型的最佳技術選擇[6]。云計算和主機虛擬化帶來了計算和數據的大集中,為存儲的性能、可靠性、可用性、可管理性等方面提出了挑戰(zhàn)。為了實現(xiàn)這一目標,云計算平臺中的存儲系統(tǒng)設計顯得至關重要。

結合業(yè)務實際需求,氣象部門應用云計算技術建立了私有云計算環(huán)境,為用戶提供計算資源、存儲資源、網絡接入與集中托管服務,滿足用戶對IT基礎設施資源的需求。該系統(tǒng)利用云計算的按需、彈性、高可用服務等特點,提高了資源利用率,降低了建設及運行成本,實現(xiàn)了資源快速部署與動態(tài)分配,可隨需求增長進行系統(tǒng)動態(tài)升級擴充。

根據建立氣象私有云環(huán)境下存儲的使用特性,通過對不同業(yè)務區(qū)域的存儲進行實驗,得出了關鍵性能指標,將分析數據與業(yè)界對于存儲的性能所給出的參數指標進行了比對,并對其進行了深入分析,進而確定了氣象私有云環(huán)境下存儲的設計方案,并對架構及性能進行了評估。評估分析結果表明,已建成投入使用的氣象私有云存儲架構合理,能夠很好地支撐氣象業(yè)務科研系統(tǒng)的穩(wěn)定運行。

1 云環(huán)境下存儲設計關鍵點

隨著云計算技術在IT架構變革中產生的效益逐步得到認可,企業(yè)或政府單位中的虛擬化架構承載的比例正在迅速增大。

氣象部門的信息化建設已進入到信息技術與氣象業(yè)務深度融合的階段;在助力氣象業(yè)務,有效提高“四個能力”的同時,以先進的設計理念、有效的組織形式和技術手段,盡可能提高工作效率和效益,是實現(xiàn)“又好又快”發(fā)展模式的主要途徑[7]。國家氣象信息中心基于云計算技術構建了氣象私有云,為氣象部門國家級業(yè)務單位提供計算、存儲、網絡接入等基礎信息資源服務。“私有云”以40余臺物理服務器以及10套磁盤陣列、NAS存儲為基礎資源,對外提供460余臺虛擬服務器,在其上運行了強天氣預報、集合預報處理、雷達拼圖、CIPAS、公服統(tǒng)計、氣象業(yè)務內網、中國氣象數據網、再分析評估等近170個應用系統(tǒng)。據初步測算,資源利用率提升50%,業(yè)務部署上線時間從“月”縮短到“天”,故障恢復時間從小時級縮短到分鐘級,CPU利用率較此前提高了6倍以上,電力能耗節(jié)省和場地空間占用降低了80%以上。氣象私有云改變了傳統(tǒng)“一機一應用”的部署模式,提高了資源利用率,降低了建設及運行成本,實現(xiàn)了資源快速部署與動態(tài)分配,可隨需求增長進行系統(tǒng)動態(tài)升級擴充[8]。

由于很好地滿足了業(yè)務需要,氣象私有云虛擬化資源規(guī)模快速增長。虛擬化服務器平臺的不斷擴大和承載業(yè)務的關鍵度不斷提高、業(yè)務類型的復雜度不斷增加,這些都對底層存儲平臺提出了新的要求。

1.1 業(yè)務實際需求

底層IT架構最終是為上層業(yè)務服務的。在以往的云平臺建設中通常僅通過一種存儲架構去適應所有類型應用產生的不同數據訪問模式以及不同數據特征,這種方式在虛擬化架構規(guī)模較小、業(yè)務訪問壓力較低的場合下可以有效降低存儲平臺的設計難度。但隨著云平臺所承載業(yè)務的復雜度、關鍵度、訪問量的增加,不同業(yè)務系統(tǒng)讀寫模式、數據類型的差異就逐漸被放大,因此需要為不同類型的業(yè)務選擇最匹配其數據類型和數據訪問特點的存儲系統(tǒng),從而優(yōu)化存儲平臺的整體性能和綜合成本。

云平臺中的存儲建設并不是一蹴而就的,可以通過以下手段對現(xiàn)有環(huán)境進行綜合分析以逐步完善和優(yōu)化:

(1)對具體業(yè)務虛機進行數據讀寫數據量和讀寫比例分析;

(2)利用主機虛擬化平臺性能規(guī)劃分析工具從虛擬化層得出數據吞吐性能;

(3)對現(xiàn)有存儲前/后端口、緩存、磁盤組的歷史性能進行統(tǒng)計分析。

1.2 存儲設計要點

在對業(yè)務系統(tǒng)進行綜合、全面的分析之后,就可以對存儲平臺進行有針對性的規(guī)劃設計了。其中需要考慮的層面主要包括:如何進行存儲協(xié)議的選擇;如何針對不同業(yè)務數據類型解決性能問題;如何在多業(yè)務共享的情況下進行容量的統(tǒng)籌規(guī)劃;如何在多臺存儲環(huán)境下實現(xiàn)存儲平臺的資源池化;如何針對不同類型存儲實現(xiàn)存儲平臺的高可用保護。

2 云環(huán)境下存儲協(xié)議的選擇

選擇合適的存儲系統(tǒng)是虛擬化云計算環(huán)境整體架構設計的關鍵一環(huán)。云計算本身并未對存儲架構做出明確限定,不同協(xié)議的存儲在同一環(huán)境下的運行效果大相徑庭。因此,在存儲架構選擇時,需要充分考慮存儲在云平臺中的用途以及所存儲的數據類型。提供一個多協(xié)議的底層存儲平臺,根據不同數據類型的存儲需求提供與之匹配的存儲協(xié)議是當前主流的發(fā)展思路。圖1是不同存儲協(xié)議的應用比例[9]。

2.1 光纖通道存儲

除去成本高之外,單從性能和可靠性的角度看,光纖通道(FC)無疑是當前最出色的存儲協(xié)議。光纖通道當前的主流帶寬為8 Gbps、16 Gbps,其優(yōu)勢包括:

(1)具有更高的可用帶寬、較低的延時和協(xié)議開銷,通常情況下性能表現(xiàn)有保障;

(2)獨立的光纖通道網絡安全性更高,并有Zoning和LUN masking等訪問控制機制;

(3)支持從存儲啟動系統(tǒng)(boot from SAN),服務器本地不再需要硬盤;

(4)基于block的塊存儲類型。

圖1 不同存儲協(xié)議的應用比例(Wikibon Survey)

虛擬化架構下物理服務器上一般運行多個虛擬機,如業(yè)務系統(tǒng)對磁盤I/O有較高的要求。為了得到最佳的性能,首選使用基于光纖通道協(xié)議的存儲系統(tǒng)。

2.2 NAS存儲

NAS與FC、iSCSI之間最大的區(qū)別是協(xié)議類型不同。FC、iSCSI使用數據塊協(xié)議,數據以塊為單位從前端虛擬機寫入到后端的存儲設備,主機端負責維護磁盤上的文件系統(tǒng),在主機看來,存儲設備與服務器本地磁盤并沒有區(qū)別。NAS則是另外一種情況,存儲設備端負責維護磁盤文件系統(tǒng),使用的是文件共享協(xié)議,服務器與存儲設備之間只有簡單的通訊。

一般說來,常規(guī)NAS設備的性能還達不到光纖通道存儲的I/O并發(fā)能力和I/O低延遲,也無法支持主機虛擬化平臺的全部存儲特性,因此在大中型云計算場合下并不適合作為部署虛機操作系統(tǒng)的主存儲。但是目前新興的分布式NAS產品卻可以有效發(fā)揮后端磁盤帶寬,對于大容量的非結構化數據文件的高并發(fā)讀寫是最佳性能解決方案。因此在大型虛擬化、云計算場合內,完全可以采用一部分分布式NAS通過共享目錄的方式來解決虛擬機中大文件的存儲性能和存儲成本問題。例如,部署在氣象私有云上的氣象再分析評估系統(tǒng),虛機系統(tǒng)數據由FC盤陣提供存儲空間,數據文件存儲在分布式NAS中。

3 存儲平臺性能設計

云計算平臺下的存儲性能是整個云平臺性能發(fā)揮的關鍵一環(huán),如果設計考慮不周,將造成虛擬化主機的I/O大量積壓,延時大大增加,嚴重時將導致上層應用連接超時中斷或死鎖。以下將從多個角度對氣象私有云環(huán)境下的存儲平臺性能設計進行分析。

3.1 存儲性能影響因素

云環(huán)境中對存儲平臺造成性能影響的不僅僅來自于存儲控制器、磁盤類型等傳統(tǒng)因素,還要考慮虛擬化主機環(huán)境與存儲產品的集成度,只有通盤考慮才能保證存儲平臺的性能發(fā)揮。

(1)傳統(tǒng)因素:與傳統(tǒng)應用相一致,需要綜合考慮存儲產品的軟硬件技術配置,例如存儲控制器的處理器計算能力、存儲緩存大小、磁盤轉速及磁盤接口類型、IO通道的帶寬及數量、主機層面的多路徑管理。

(2)加速盤(諸如閃存)的應用:閃存作為新興的存儲介質,由于其I/O性能是傳統(tǒng)轉軸硬盤的30~50倍以上,因此適合用于虛擬化環(huán)境中關鍵應用系統(tǒng)的性能提升。

(3)存儲陣列和服務器虛擬化的集成:以往的服務器虛擬化產品在其自身的內核層承載了大量的I/O管理工作,隨著虛擬化技術的發(fā)展,服務器虛擬化產品逐漸研發(fā)并開放了與存儲產品兼容的軟件接口協(xié)議,目前先進的存儲產品均可與其對接并將大量的存儲I/O“卸載”到存儲端,大大減少了服務器虛擬化層的壓力,從而優(yōu)化整個虛擬化環(huán)境的性能發(fā)揮。如氣象私有云在虛擬機與存儲設備之間采用了VAAI、FusionSphere等協(xié)議與主流存儲系統(tǒng)進行對接,用戶不需要關心后端存儲的類型和能力。

3.2 存儲IO能力計算

在真實的存儲環(huán)境中,I/O瓶頸往往來自于后端磁盤,因此衡量實際配置存儲的IOPS應從磁盤系統(tǒng)規(guī)劃入手,考慮到緩存性能優(yōu)化作用的不確定性,最好在規(guī)劃時不考慮或者盡可能少地考慮緩存的作用。根據存儲系統(tǒng)規(guī)劃理論,可套用如下公式(適用于磁盤陣列):

(IOPS*%R+WP*IOPS*%W)/單盤IOPS= 所需磁盤數

其中,IOPS為存儲系統(tǒng)IOPS需求;%R為讀操作百分比;%W為寫操作百分比;WP為寫懲罰因數,即1個寫操作帶來的磁盤I/O數,RAID1/0和RAID1 WP為2、RAID5 WP為4;單盤IOPS為單塊磁盤的最大IOPS值(在存儲設計過程中建議不采用磁盤廠商標稱的單盤性能值,保守估計10 K磁盤約125 IOPS;15 K磁盤約為175 IOPS;SSD磁盤約為3 000)[10];所需物理磁盤數為存儲中應配置的最小磁盤數量。

根據業(yè)務系統(tǒng)使用特性,或者從以往業(yè)務主機抓取的IO分析數據,可以得出業(yè)務系統(tǒng)的大致讀寫比例,結合對IOPS的統(tǒng)計預期目標,即可計算出為實現(xiàn)此性能存儲所需的磁盤數。

3.3 虛擬化層對性能的影響

隨著虛擬化技術的發(fā)展,服務器虛擬化產品逐漸研發(fā)并開放了與存儲產品兼容的軟件接口協(xié)議,目前先進的存儲產品均可與其對接并將大量的存儲I/O“卸載”到存儲端,大大減少了服務器虛擬化層的壓力,從而優(yōu)化整個虛擬化環(huán)境的性能發(fā)揮。

在虛擬服務器環(huán)境中,其存儲硬件和Hypervisor管理程序的通訊非常復雜。為簡化其通訊并提高效率,研發(fā)了vStorage陣列集成應用接口(VAAI)[11]。該應用接口為Hypervisor管理程序和存儲設備規(guī)范了不同的職責,使其各自關注工作效能最大化,即Hypervisor致力于虛擬化相關的工作,而存儲相關的工作則留給存儲陣列。

通過VAAI,存儲陣列廠商可以直接將其存儲硬件及應用程序和vSphere進行集成。VAAI使得某些存儲層的工作(諸如克隆等)可以在存儲陣列上離線運行,較在主機端完成更為高效。主機端可以簡單地將相關工作轉到存儲陣列上完成,而主機端只負責過程監(jiān)控,而非使用主機端的資源來完成。存儲陣列更擅長此類數據工作,可以較主機端更為快速地完成相關服務請求。

4 實驗及其結果分析

對氣象私有云環(huán)境中兩塊主要業(yè)務區(qū)域(A區(qū)、B區(qū))的典型存儲系統(tǒng)抓取了一天的完整性能數據,利用存儲性能分析工具獲取詳細性能分析報表,作為優(yōu)化存儲平臺性能的參考依據。

4.1 存儲訪問特性分析

不同類型的業(yè)務系統(tǒng)對存儲的訪問特性均有所不同,主要體現(xiàn)在I/O讀寫比例和I/O大小兩個方面,存儲性能優(yōu)化需要充分考慮其訪問特性。通過對氣象私有云中的存儲性能數據進行分析,A區(qū)讀寫比例為52%∶48%,相對比較平均,I/O大小以4 K為主;B區(qū)兩臺存儲讀寫比例分別為60%∶40%和33%∶67%,其中1臺存儲設備具備了一定量的128 K以上大I/O的訪問。具體如圖2和圖3所示。

圖2 氣象私有云A區(qū)存儲I/O訪問特性

圖3 氣象私有云B區(qū)存儲I/O訪問特性

對于以寫入為主的存儲訪問方式,瓶頸往往出現(xiàn)在后端磁盤。因此在存儲規(guī)劃時應充分發(fā)揮后端磁盤的并發(fā)性能,將數據卷盡可能打散分布在更多的物理硬盤上,提升數據落盤時的I/O響應能力。

氣象私有云在設計時充分考慮了這一因素,設置存儲后端磁盤以Pool的方式提供服務,數據卷打散在Pool內的所有硬盤上,突破了傳統(tǒng)RAID組的性能局限。

對于大I/O業(yè)務量的場景,氣象私有云存儲可以通過虛機與業(yè)務數據分離部署的方式提升整體架構性能,即將虛機的系統(tǒng)文件部署在傳統(tǒng)的光纖通道存儲上,而將其業(yè)務數據目錄指向高帶寬、大容量的分布式NAS,可以很好地提升大文件讀寫的性能,同時避免牽制云平臺上虛機系統(tǒng)的性能。

4.2 存儲負載性能分析

以下是幾臺存儲的總體展現(xiàn)。從存儲承擔的IOPS上看,幾臺存儲目前負載并不平均,A區(qū)存儲IOPS壓力較小,B區(qū)存儲IOPS壓力相對大。目前來看由于存儲性能充足,95%左右的IO響應時間均能控制在5 ms以內,屬于非常理想的性能表現(xiàn)[12]。未來隨著業(yè)務虛機數量的不斷增長,存儲IOPS壓力不平均的問題就需要得到解決,否則部分存儲有可能由于壓力過大造成響應時間過長,影響了應用性能,而另一部分存儲的性能卻過于空閑無法充分發(fā)揮。

氣象私有云A區(qū)和B區(qū)存儲總體性能數據如圖4和圖5所示。

圖4 氣象私有云A區(qū)存儲總體性能數據

圖5 氣象私有云B區(qū)存儲總體性能數據

通過存儲虛擬化技術可以實現(xiàn)存儲資源的池化,很好地實現(xiàn)存儲資源的動態(tài)靈活調整。基于存儲虛擬化技術,通過進一步分析LUN性能熱點,將壓力較大的LUN在不影響業(yè)務應用的前提下在線遷移至相對空閑的存儲,從而優(yōu)化整體存儲平臺性能。

5 未來發(fā)展思路

氣象私有云的建設是一個循序漸進的過程。在未來發(fā)展過程中,為了更好地滿足各類氣象業(yè)務可研系統(tǒng)的多樣化存儲服務需求[13-15],在橫向擴展計算資源池的同時,將從以下兩方面進行深化建設:

(1)隨著云平臺上業(yè)務系統(tǒng)的不斷增加、數據量不斷增大,需要根據業(yè)務系統(tǒng)I/O性能需求以及數據格式的不同,針對其存儲特點構建多元化的存儲平臺。采用高性能的全閃存磁盤陣列來部署對I/O性能要求最為苛刻的應用數據,采用大容量的分布式NAS存儲產品來部署氣象業(yè)務系統(tǒng)中諸如模式數據、衛(wèi)星圖片等需要共享的大文件數據等,使應用得到最佳的存儲服務級別。

(2)隨著存儲平臺向多元化、虛擬化方向發(fā)展,對于龐大的低層存儲架構需增加更為強大的統(tǒng)一存儲管理,能夠徹底跨越異構存儲產品帶來的管理鴻溝,為上層應用系統(tǒng)提供強大、靈活、優(yōu)化的存儲供給服務。將異構的SAN、NAS、HDFS分布式文件系統(tǒng)等存儲對象抽象為統(tǒng)一的虛擬化存儲池,通過統(tǒng)一的管理界面提供數據塊、文件、分布式文件系統(tǒng)等多種存儲協(xié)議,屏蔽底層存儲設備管理的差異性,實現(xiàn)對底層各存儲及存域網絡設備的集中管理、維護、變更操作,并通過自動化技術進一步加速存儲容量分配和配置變更效率。

6 結束語

圍繞氣象私有云平臺存儲設計與業(yè)務應用,分別從性能影響因素、IO能力計算以及虛擬化層影響等方面進行了分析設計,同時評估了存儲實際運行狀況,從存儲平臺訪問、IO負載等角度進行了實驗及分析。結果表明,氣象私有云平臺已建存儲架構設計合理,不同類型存儲經過優(yōu)化配置后優(yōu)勢互補,能夠滿足各類氣象業(yè)務科研系統(tǒng)的存儲需求,實際運行監(jiān)控指標良好。未來還將跟蹤技術發(fā)展趨勢,結合業(yè)務系統(tǒng)發(fā)展需要,在多元化存儲和統(tǒng)一存儲管理平臺等方面做進一步研究,并應用到實際工作中。

[1]FosterI,ZhaoY,RaicuI,etal.Cloudcomputingandgridcomputing360-degreecompared[C]//Gridcomputingenvironmentsworkshop.[s.l.]:IEEE,2008:1-10.

[2] 陳 康,鄭緯民.云計算:系統(tǒng)實例與研究現(xiàn)狀[J].軟件學報,2009,20(5):1337-1348.

[3] 劉正偉,文中領,張海濤.云計算和云數據管理技術[J].計算機研究與發(fā)展,2012,49(S1):26-31.

[4] 陳 全,鄧倩妮.云計算及其關鍵技術[J].計算機應用,2009,29(9):2562-2567.

[5] 王意潔,孫偉東,周 松,等.云計算環(huán)境下的分布存儲關鍵技術[J].軟件學報,2012,23(4):962-986.

[6] 沈文海.氣象業(yè)務信息系統(tǒng)未來基礎架構探討-“云計算”和“大數據”在氣象信息化中的作用[J].氣象科技進展,2015(3):64-66.

[7] 沈文海.從云計算看氣象部門未來的信息化趨勢[J].氣象科技進展,2012(2):49-56.

[8] “氣象私有云”:我們身邊的云計算[EB/OL].2014-08-13.http://www.cma.gov.cn/kppd/kppdkjzg/201408/t20140813_257125.html.

[9]WikibonSurvey[EB/OL]. 2012-08-23.http://wikibon.org/wiki/v/VMware_vSphere_5_Users_Move_Beyond_the_Storage_Protocol_Debate.

[10]GettingthehangofIOPSv1.3[EB/OL].2012-01-28.http://www.symantec.com/connect/articles/getting-hang-iops-v13.

[11]VMwarevSphereStorageAPIs-ArrayIntegration(VAAI)[EB/OL].2013-03-17.http://www.vmware.com/resources/techresources/10337.

[12]What’sanacceptableI/Olatency?[EB/OL].2010-09-19.http://kaminario.com/company/blog/whats-an-acceptable-io-latency/.

[13] 李月安,曹 莉,高 嵩,等.MICAPS預報業(yè)務平臺現(xiàn)狀與發(fā)展[J].氣象,2010,36(7):50-55.

[14] 吳煥萍,張永強,孫家民,等.氣候信息交互顯示與分析平臺(CIPAS)設計與實現(xiàn)[J].應用氣象學報,2013,24(5):631-640.

[15] 王 彬,周 斌,魏 敏.氣象計算網格模式預報系統(tǒng)的建立與優(yōu)化[J].計算機應用研究,2010,27(11):4182-4184.

Storage Architecture Design and Performance Analysis in MeteorologicalPrivate Cloud Environment

WANG Bin,HAN Tong-xin,LI Nan

(National Meteorological Information Center,Beijing 100081,China)

For the evaluation of design reasonability and performance of the meteorological private cloud platform storage infrastructure,and to provide necessary architecture level basis for the future expansion of the storage capacity of the platform,on the basis of analyzing selection of storage protocols and hardware performance as well as discussion on the key issues of storage design in cloud computing environment,the thought for storage architecture design in cloud computing environment has been proposed.It is suggested that multi-protocol storage structure supporting SAN and NAS has been established in light of read-write features of various applications so as to build a standardized pool of storage resources.Combined with the actual meteorological private cloud,storage applications performance has been analyzed in virtualized environment.The verification experiment results show that the design and configuration of storage architecture are reasonable in current environment and various runtime performance indicators are good and the applications have been allocated suitable storage resources.The storage architecture of meteorological private cloud has been built to meet the storage needs of all kinds of meteorological operations and research systems.

meteorological private cloud;design of storage performance;multi-storage protocol;fibre channel storage;network attached storage;distributed storage;storage resource pool

2016-06-03

2016-10-12 網絡出版時間:2017-03-13

科技部公益性行業(yè)(氣象)科研專項項目(GYHY201306062)

王 彬(1976-),男,正研級高級工程師,博士,CCF會員(E200009018M),研究方向為云計算、高性能計算、氣象信息化設計等。

http://kns.cnki.net/kcms/detail/61.1450.tp.20170313.1545.038.html

TP39

A

1673-629X(2017)05-0020-05

10.3969/j.issn.1673-629X.2017.05.005

主站蜘蛛池模板: 日韩精品欧美国产在线| 色偷偷av男人的天堂不卡| 久久人搡人人玩人妻精品| 国产黄网永久免费| 国产亚洲欧美在线人成aaaa | 欧美一级夜夜爽| 人妻熟妇日韩AV在线播放| 国模极品一区二区三区| 欧美日韩免费在线视频| 四虎永久免费在线| 亚洲免费人成影院| 久久国产精品波多野结衣| 国产精品嫩草影院av| 青青久久91| 免费国产高清视频| 高清视频一区| 成人国产一区二区三区| 人妻一区二区三区无码精品一区| 国产视频一区二区在线观看| 日韩免费视频播播| 国产视频a| 四虎免费视频网站| 欧美激情二区三区| 国产免费a级片| 色香蕉影院| AV在线麻免费观看网站 | 一级一毛片a级毛片| 一级香蕉人体视频| 强乱中文字幕在线播放不卡| 久青草免费在线视频| 亚洲无线国产观看| 91久久偷偷做嫩草影院电| 国内精品视频区在线2021| 99这里只有精品免费视频| 精品一区二区三区水蜜桃| 国产青榴视频| 99视频精品全国免费品| 国产精品久久久久久久伊一| 久久综合国产乱子免费| 亚洲无线一二三四区男男| 精品国产一区二区三区在线观看| 日本一本在线视频| 97国产精品视频自在拍| 欧美国产菊爆免费观看| 欧美精品色视频| 精品一區二區久久久久久久網站| 国产最爽的乱婬视频国语对白| 人妻丰满熟妇av五码区| 国产91小视频在线观看| 欧美日韩国产成人在线观看| 国产午夜福利片在线观看| 亚洲伦理一区二区| 性色生活片在线观看| 久久综合九九亚洲一区| 久久精品视频一| 看看一级毛片| 欧美成人区| 成人免费黄色小视频| 国产黄色视频综合| 国产本道久久一区二区三区| 无套av在线| 99久久精品国产麻豆婷婷| 71pao成人国产永久免费视频| 国产尤物在线播放| 国产成人一区在线播放| 日韩视频福利| 日韩精品一区二区深田咏美| 久久人搡人人玩人妻精品一| 欧美日本在线观看| 欧美激情视频一区| 国产99视频在线| 免费在线成人网| 伊人久久大香线蕉综合影视| 九九热在线视频| www.91在线播放| 亚洲无码A视频在线| 四虎永久在线视频| 五月婷婷综合网| 日本爱爱精品一区二区| 国产91丝袜在线播放动漫 | 国产激爽爽爽大片在线观看| 欧美怡红院视频一区二区三区|