針對集群式演示系統的輪詢準實時處理策略

黃 迪 孫 偉 樓萬翔

(1.杭州應用聲學研究所 杭州 310023)(2.中國電子科技集團第三十六研究所 嘉興 314033)

針對集群式演示系統的輪詢準實時處理策略

黃 迪1孫 偉2樓萬翔1

(1.杭州應用聲學研究所 杭州 310023)(2.中國電子科技集團第三十六研究所 嘉興 314033)

文章針對聲吶集群式仿真演示系統或者處理慢速運動目標的實時處理系統的實時性問題,提出了一種并行輪詢式準實時處理策略,通過將模塊分配到不同的并行處理節點,并進行編號,每個模塊輪詢式接收數據并輪詢式的將處理結果輸出、整合來解決復雜處理模塊的實時性問題。通過在聲吶仿真演示系統的試驗驗證,表明該方法實現簡單,對硬件資源要求不高,適合仿真演示系統和慢速運動目標的實時處理系統。

實時處理系統; 集群式處理系統; 輪詢式接收

Class Number TP301

1 引言

在聲吶實時處理系統中,經常會出現因為某個模塊的處理時間特別長,一批數據還未處理完下批數據已經到達,造成當前處理數據被覆蓋,從而影響整個系統輸出結果的正確性和流暢性的問題。當前在集群式實時處理系統中,處理此問題通常采用的方法有以下幾種：

一是提高硬件處理速度,減少模塊的處理時間,這種方法經濟成本比較高,并且處理速度提高有限,在需要成倍提高模塊運行速度的情況下不合適。

二是采用基于模塊拆分和整合的并行處理模式,首先將模塊拆分成幾個可以并行運行的子模塊,然后將各子模塊分配到不同的并行處理節點上運行,最后將各并行處理節點的結果整合為最終結果進行輸出。這種方法可以成倍地提高模塊的運行速度,與第一種方法相比降低了對硬件性能的要求,但是需要系統集成人員對模塊結構非常清晰,并且模塊可以拆分成多個并行處理的子模塊。這就產生了以下問題：一是系統集成人員與模塊的編程人員不是同一個人,對模塊的內部結構并不清楚；二是模塊邏輯關聯密切,難以拆分；三是即使模塊可以拆分,但是模塊的拆分和整合操作也是一項復雜的工作,增加了系統開發的工作量。

在仿真演示系統中或者是處理慢速運動的實時處理系統(例如聲吶系統)中,通常數據處理的正確性和流暢性比及時性更重要,也就是處理結果的輸出比采集的數據晚比較短的時間但是處理結果是正確、連續和流暢的對系統來說也是可以接受的。

本文針對上面這種情況提出了一種并行輪詢式準實時處理策略。該策略只需要將處理模塊根據實際運行時間和要求運行時間的比值進行復制,然后對復制的模塊進行編號并將其分配到不同的并行處理節點中,每個模塊根據編號輪詢式的接收數據,然后輪詢式的將結果輸出給結果整合模塊從而得到模塊的最終輸出。本文的方法不需要系統集成者對模塊十分了解,不需要對模塊進行復雜的拆分和整合操作,實現簡單方便,對硬件資源要求不高,只是每批數據處理結果的輸出會有個短時間的固定延遲,但是這在仿真演示系統或處理慢速運動目標的系統中是可以接受的。

2 算法原理

基于模塊拆分和整合的并行處理策略的核心思想是不改變相鄰兩批數據的間隔時間,縮短模塊的運行時間,以此來保證數據處理的正確性和流暢性。本文策略的核心思想是不改變模塊的運行時間,增加到達每個模塊的相鄰兩批數據的間隔時間,所以稱為準實時處理策略。本文策略的原理是根據模塊實際的運行時間與要求運行時間的比值,對模塊進行復制,并進行編號,然后將模塊分配到不同的并行處理節點中,接收模塊按照處理模塊的編號順序進行輪詢接收,然后輪詢的向整合模塊輸出結果。并行處理策略的原理圖如圖1所示類似輪盤的工作原理,其中t表示數據流的批號,SP_i表示編號為i的處理模塊。

圖1 并行輪詢處理策略原理圖

圖2 數據輪詢分發流程

圖3 結果輪詢整合流程

數據分發流程如圖2所示,這里k表示第i個并行處理模塊接收的數據的新的批號。結果整合流程如圖3所示。從圖2和圖3可以看出整個數據分發和整合流程猶如一個輪盤在循環的接收數據處理完成后在循環的輸出給整合模塊。對于某個固定的處理模塊SP_i其數據輸入輸出對應的原始批號如圖4所示。

這里輪詢分發模塊可以和后面的并行處理模塊整合,輪詢整合模塊可以和后面的結果接收模塊整合,這兩個模塊都不需要再新開進程或者線程。

3 算法描述

該方法的具體實現步驟如下：

1) 計算模塊的實際運行時間與要求運行時間的比值N;

2) 將模塊復制N份,并進行編號1,2,…,N;

3) 將模塊分配給系統不同的并行處理節點中;

4) 設置模塊的接收數據,第m個模塊接收的數據批號為N*t+m-1;

5) 設置接收模塊第m個模塊的結果放入N*t+m-1的輪詢中進行組合。

4 試驗驗證

這里以聲吶仿真系統中的某大孔徑體積陣波束形成模塊為例。在系統中每批數據的長度為10.6ms,在不進行任何處理的情況下,某大孔徑體積陣波束形成模塊處理一批數據的平均時間為124.3ms。這里分別使用模塊拆分和整合策略以及本文輪詢策略進行處理。采用模塊拆分和整合策略對模塊進行分解時,可以將某大孔徑體積陣波束形成模塊拆分為1個分解模塊、13個并行分處理模塊、1個整合模塊,一批數據的處理時間平均為9.8ms。采用輪詢處理策略,只需要將共形陣波束形成模塊復制12份,分配給12個并行分處理模塊,對12個分處理模塊的數據接收部分進行修改,并對結果輸出根據12個分處理模塊進行編號,對結果接收模塊進行簡單改進。通過比較發現采用模塊拆分和整合策略對某大孔徑體積陣波束形成模塊進行處理時共需要15個子模塊,一批數據的處理時間為9.8ms,采用輪詢處理策略共需要12個子模塊,一批數據的處理時間為124.3ms。輪詢處理策略與模塊拆分和整合策略相比,不需要對共形陣波束形成模塊十分了解,不需要對模塊進行拆分和整合,不需要考慮各并行處理節點的同步性,實現簡單,節省了程序編寫的工作量,使用的資源更少,缺點是每批數據的處理時間與模塊拆分和整合策略的相比均有113.7ms的延遲,這對于聲吶系統探測的目標來說是可以接受的。

圖5 實時處理系統輸出界面

5 結語

本文針對集群式仿真演示系統或者處理慢速運動目標的實時處理系統提出的輪詢式準實時處理策略,不需要系統集成者對模塊了解,不需要對模塊進行復雜的拆分和整合操作,實現簡單方便,只是每批數據的處理結果輸出會有個固定的延遲,但是這在仿真演示系統或處理慢速運動目標的系統中是可以接受的。

[1] G. A. Maykut. Energy exchange over young sea ice in the central Arctic[J]. J. Geophys. Res.,1978,83(7):3646-3658.

[2] H. Wakabayashi, T. Matsuoka, K. Nakamura, et al. 2004 Polarimetric characteristics of sea ice in the Sea oce Okhotsk observed by airborne L-band SAR[J]. IEEE Trans. Geosci. Remote Sensing,2014,42(11):2412-2425.

[3] K. Nakamura, H. Wakabayashi, K. Naoki, et al. Observation of sea-ice thickness in the Sea of Okhotsk by using dual-frequency and fully polarimetric airborne SAR (Pi-SAR) data[J]. IEEE Trans. Geosci. Remote Sensing,2005,43(11):2460-2469.

[4] Philip Alpatov, Greg Baker. Parallel linear algebra package design overview[C]//Proceedings of the 1997 ACM/IEEE Conference on the Supercomputing,1997:1-16

[5] W. Gropp, E. Lusk, A. Skjellum. Using MPI[M]. Massachusetls: MIT Press,1999:532-533.

[6] 何友,王國宏,等.多傳感器信息融合及應用[M].北京:電子工業出版社,2000:51-53.

[7] 楊致怡,陸俊,江曉燕.跨平臺航跡管理互操作技術研究[J].雷達對抗,2013,31(1):11-15.

[8] 梅文化,蔡善發.JTIDS/Link16數據鏈[M].北京:國防工業出版社,2007:82-87.

[9] Peter S. Pacheco.并行程序設計導論[M].鄧倩妮,等譯.北京:機械工業出版社,2015,8:11-30.

[10] Timothy G. Mattson, Beverly A. Sanders, Berna L. Massingill.并行編程模式[M].張云泉,等譯.北京:機械工業出版社,2015:7-29.

Roulette-cycle Quasi-Real-time Strategy for the Cluster Demo System

HUANG Di1SUN Wei2LOU Wanxiang1

(1. Hangzhou Applied Acoustics Research Institute, Hangzhou 310023) (2. No.36 Research Institute of CECT, Jiaxing 314033)

This paper proposes a parallel roulette-cycle quasi- real-time strategy to solve the real-time problem of the cluster demo sonar systems or the real-time sonar systems which deal with the low speed targets. The strategy copys the processing module, allocates them to different parallel processing nodes and numbers them. Every module deals with the data in order like roulette, finally integrates the results of all the modules. This method solves the problem of complex processing modules in the real-time system. Through the sonar demo system experiment, it is proved that this method is simple and does not require the high performance equipments, can be applied to the demo systems or the real-time systems dealing with the low speed targets.

real-time system, cluster processing system, cycle receive like a roulette

2016年7月17日,

2016年8月20日

黃迪,男,碩士,工程師,研究方向:聲吶總體設計及信號處理。孫偉,男,碩士,工程師,研究方向:聲吶總體設計及信號處理。樓萬翔,男,碩士,助理工程師,研究方向:聲吶總體設計及信號處理。

TP301

10.3969/j.issn.1672-9730.2017.01.031