基于強化學習的醫(yī)院通信網(wǎng)絡(luò)數(shù)據(jù)鏈抗干擾系統(tǒng)

楊麗坤

（首都醫(yī)科大學附屬北京佑安醫(yī)院，北京 100069）

醫(yī)院通信環(huán)境處在一個復雜的數(shù)據(jù)信息傳輸網(wǎng)絡(luò)，中樞主機借助互聯(lián)信道對下級通信設(shè)備進行控制，并可以在MySQL 數(shù)據(jù)庫元件的作用下，實施對傳輸數(shù)據(jù)的寄存與處理[1]。然而隨著醫(yī)院網(wǎng)絡(luò)數(shù)據(jù)信息樣本輸出量的增大，干擾性信息文本會不斷占據(jù)原始通信數(shù)據(jù)的傳輸波段，不但會造成醫(yī)療信息參量傳輸速率的快速下降，還會使數(shù)據(jù)信息文本在醫(yī)院通信網(wǎng)絡(luò)中的傳輸穩(wěn)定性受到影響。

變換域優(yōu)選控制系統(tǒng)雖然可以限制干擾性通信數(shù)據(jù)的輸出總量，但不能將這些信息文本與原始通信數(shù)據(jù)分離開，不能有效解決數(shù)據(jù)傳輸波段被過度占據(jù)的問題[2]。強化學習策略可以根據(jù)目標對象的最大回報能力，確定該目標節(jié)點與核心待測節(jié)點之間的間隔距離[3-4]。為了提高醫(yī)院通信網(wǎng)絡(luò)的穩(wěn)定性，該文引入強化學習應用算法，并以此為基礎(chǔ)設(shè)計了一種醫(yī)院通信網(wǎng)絡(luò)數(shù)據(jù)鏈抗干擾系統(tǒng)。

1 系統(tǒng)硬件設(shè)計

1.1 基于FPGA的收發(fā)器設(shè)計

基于FPGA 設(shè)計的收發(fā)器負載于核心通信網(wǎng)絡(luò)下端，具有較強的信息過濾能力，可以在混合文本中，將醫(yī)院網(wǎng)絡(luò)的原始通信數(shù)據(jù)進行提取處理[5-6]，并借助傳輸信道將這些信息文本反饋給系統(tǒng)數(shù)據(jù)庫主機[7-8]。整個收發(fā)器的主機單元由RE-ED 芯片、Detection 芯片、RMT 芯片、Energy 芯片等多個結(jié)構(gòu)共同組成，如圖1 所示。

圖1 基于FPGA的收發(fā)器模塊

由于收發(fā)器不能干擾數(shù)據(jù)信息參量在醫(yī)院通信網(wǎng)絡(luò)中的傳輸行為，所以該模塊結(jié)構(gòu)的運行能力受到通信主機與SIMULINK 設(shè)備的直接影響。

1.2 數(shù)據(jù)鏈路調(diào)度模塊設(shè)計

數(shù)據(jù)鏈路調(diào)度模塊主要負責記錄數(shù)據(jù)信息參量在醫(yī)院通信網(wǎng)絡(luò)中的傳輸行為，將已生成的執(zhí)行指令反饋給系統(tǒng)主機，以供其對信息文本按需進行調(diào)度與處理[9]。在醫(yī)院通信網(wǎng)絡(luò)數(shù)據(jù)鏈抗干擾系統(tǒng)中，數(shù)據(jù)鏈路調(diào)度模塊的連接需要如下幾個設(shè)備結(jié)構(gòu)的共同配合。

1）CDF 元件：CDF 元件作為主觀執(zhí)行設(shè)備，具有一定的信息樣本存儲能力，當系統(tǒng)數(shù)據(jù)庫主機所存儲的通信數(shù)據(jù)總量達不到實際應用需求時，該元件會釋放暫存的醫(yī)院通信數(shù)據(jù)文本，使得收發(fā)器模塊能夠?qū)⒏蓴_性信息與原始通信數(shù)據(jù)準確區(qū)分開來。

2）MF 元件：MF 元件能夠感知數(shù)據(jù)鏈路所標注的信息傳輸方向，并可以聯(lián)合醫(yī)院通信網(wǎng)絡(luò)主機，將這些信息參量分割成多個傳輸部分。其中，滿足強化學習原則的數(shù)據(jù)文本會被直接存儲于收發(fā)器模塊中，而不能完全滿足強化學習原則的信息參量，則會進入通信主機，以供SIMULINK 設(shè)備對其進行深度加工與處理[10]。

3）CFD 元件：CFD 元件負責對處于傳輸狀態(tài)的醫(yī)院通信數(shù)據(jù)參量進行聚合處理，可以聯(lián)合CDF 元件與MF 元件，更改數(shù)據(jù)信息參量的目標傳輸位置。在待測數(shù)據(jù)初始傳輸位置不發(fā)生改變的情況下，與其匹配的目標位置傳輸距離越遠，表示當前情況下所建立的通信網(wǎng)絡(luò)數(shù)據(jù)鏈路越長。

2 系統(tǒng)軟件設(shè)計

2.1 強化學習算法設(shè)計

在干擾性信息與原始通信數(shù)據(jù)同時存在的情況下，系統(tǒng)主機可以根據(jù)強化學習算法，更改收發(fā)器元件與數(shù)據(jù)鏈路調(diào)度模塊之間的實時連接關(guān)系[11-12]。算法設(shè)計如下：

設(shè)i表示通信數(shù)據(jù)學習系數(shù)，α表示信息參量迭代傳輸系數(shù)，n為迭代次數(shù)，表示通信傳輸定義特征，ΔE表示數(shù)據(jù)信息在醫(yī)院通信網(wǎng)絡(luò)中的單位累積量，β表示判別系數(shù)。基于上述物理量可將通信數(shù)據(jù)強化學習度量值p表示為：

設(shè)w0,w1,…,wn+1表示不相等的強化學習算子。在通信數(shù)據(jù)學習算量集合中，提取強化學習算子，得到醫(yī)院通信網(wǎng)絡(luò)數(shù)據(jù)鏈抗干擾系統(tǒng)的函數(shù)為：

式中，φ表示原始通信數(shù)據(jù)在醫(yī)院通信網(wǎng)絡(luò)中的利用率系數(shù)。為使強化學習算法的約束作用能力得到保障，在通信數(shù)據(jù)學習算量集合中，提取強化學習算子系數(shù)時，應剔除第一個算子w0與最后一個算子wn+1。

2.2 通信數(shù)據(jù)跳頻系數(shù)

在通信網(wǎng)絡(luò)中，數(shù)據(jù)跳頻系數(shù)是系統(tǒng)主機區(qū)分干擾性信息與原始通信數(shù)據(jù)的主要依據(jù)。對于通信數(shù)據(jù)文本而言，強化學習算法的約束作用能力始終不會發(fā)生改變，所以在設(shè)置數(shù)據(jù)鏈路組織時，只要待測通信數(shù)據(jù)跳頻系數(shù)的取值結(jié)果不同，就表示這些信息參量不屬于同一種通信數(shù)據(jù)文本[13-14]。規(guī)定δ表示通信網(wǎng)絡(luò)數(shù)據(jù)的跳頻特征，關(guān)于特征指標δ的數(shù)據(jù)鏈路構(gòu)建表達式u(δ)為：

通信網(wǎng)絡(luò)數(shù)據(jù)鏈抗干擾系統(tǒng)最主要的應用能力是從原始通信數(shù)據(jù)參量中提取干擾性信息文本，所以系數(shù)q2的計算值始終大于系數(shù)q1。

2.3 抗干擾處理增益

抗干擾處理增益是指通信網(wǎng)絡(luò)對于干擾性信息樣本的抵御能力，在同一數(shù)據(jù)鏈結(jié)構(gòu)中，干擾性信息跳頻系數(shù)與原始通信數(shù)據(jù)跳頻系數(shù)之間的差值越大，通信主機在處理干擾性信息文本時所需占據(jù)的數(shù)據(jù)傳輸波段也就越窄[15-16]。

k表示通信網(wǎng)絡(luò)數(shù)據(jù)鏈的抗干擾損益系數(shù)，其表達式如下：

式中，γ表示原始通信數(shù)據(jù)的傳輸損益向量，s表示干擾性信息文本的穩(wěn)定傳輸系數(shù)。設(shè)λ表示通信網(wǎng)絡(luò)對于數(shù)據(jù)信息的提取系數(shù)，l表示基于系數(shù)k的抗干擾特征指標，l′表示基于系數(shù)k強化學習度量值k′的抗干擾特征指標。通信網(wǎng)絡(luò)數(shù)據(jù)鏈抗干擾系統(tǒng)的抗干擾處理增益權(quán)限為：

在不考慮其他干擾條件的情況下，按照上述指標參量的取值結(jié)果，調(diào)節(jié)通信數(shù)據(jù)文本在硬件設(shè)備中的實時輸出量，從而在提升數(shù)據(jù)信息文本在通信網(wǎng)絡(luò)中傳輸穩(wěn)定性的同時，解決干擾性信息過度占據(jù)原始通信數(shù)據(jù)傳輸波段的問題。

3 實驗分析

3.1 實驗環(huán)境

實驗過程中搭載Windows 10 操作系統(tǒng)的主機元件接入GTX1650 通信端主機，開啟Linux 虛擬機系統(tǒng)，調(diào)節(jié)各項系數(shù)指標，使數(shù)據(jù)信息參量在醫(yī)院通信網(wǎng)絡(luò)中能夠自由傳輸。

實驗過程中，醫(yī)院通信端主機需要同時對干擾性信息、原始通信數(shù)據(jù)進行處理，為避免信息雜糅情況的出現(xiàn)，應將兩類數(shù)據(jù)文本存儲于不同的數(shù)據(jù)庫主機中。

3.2 實驗數(shù)值統(tǒng)計

圖2 反映了實驗組、對照組作用下，干擾性信息對原始通信數(shù)據(jù)傳輸波段的占據(jù)能力。

圖2 通信數(shù)據(jù)波段長度

利用圖2 中的記錄數(shù)值，統(tǒng)計實驗組、對照組通信數(shù)據(jù)波段之間的差值，具體情況如表1 所示。

表1 通信數(shù)據(jù)傳輸波段占據(jù)量統(tǒng)計

分析表1 可知，當通信數(shù)據(jù)頻率為1.2 MHz 時，實驗組通信數(shù)據(jù)傳輸波段占據(jù)量達到最大值0.769；當通信數(shù)據(jù)頻率為1.4 MHz 時，對照組通信數(shù)據(jù)傳輸波段占據(jù)量達到最大值1.000，與實驗組極大值相比，增大了0.231。整個實驗過程中，對照組通信數(shù)據(jù)傳輸波段占據(jù)量均值高于實驗組。

三個系統(tǒng)在執(zhí)行任務時的吞吐量對比結(jié)果如圖3 所示。

圖3 醫(yī)院通信網(wǎng)絡(luò)的任務執(zhí)行吞吐量對比

從圖3 可以看出，該文所設(shè)計的醫(yī)院通信網(wǎng)絡(luò)抗干擾系統(tǒng)具有一定的吞吐量，并且具有較好的代表執(zhí)行效率，比其他兩種系統(tǒng)的使用效果更好。接下來，對比三個系統(tǒng)的信息調(diào)度時間，對比結(jié)果如圖4所示。

圖4 信息調(diào)度時間對比

基于圖4 可知，所提系統(tǒng)在信息調(diào)度上花費的時間較少，遠少于其他兩個系統(tǒng)。三個系統(tǒng)在信息上的加密時間對比結(jié)果如圖5 所示。

圖5 信息加密時間對比

通過上述系統(tǒng)能夠發(fā)現(xiàn)，所提系統(tǒng)信息加密時間均少于另兩個系統(tǒng)。

綜合上述實驗研究結(jié)果可知，該文系統(tǒng)能夠解決干擾性信息過度占據(jù)原始通信數(shù)據(jù)傳輸波段的問題，符合提升數(shù)據(jù)信息文本在醫(yī)院通信網(wǎng)絡(luò)中傳輸穩(wěn)定性的實際應用需求。

4 結(jié)束語

新型醫(yī)院通信網(wǎng)絡(luò)數(shù)據(jù)鏈抗干擾系統(tǒng)在強化學習算法的基礎(chǔ)上，聯(lián)合收發(fā)器與數(shù)據(jù)鏈路調(diào)度模塊，重新規(guī)劃通信網(wǎng)絡(luò)的布局形式，又根據(jù)通信數(shù)據(jù)跳頻指標的具有數(shù)值，確定網(wǎng)絡(luò)主機元件對于數(shù)據(jù)信息參量的抗干擾處理增益水平。實驗結(jié)果表明，干擾性信息對于原始通信數(shù)據(jù)傳輸波段的占據(jù)量水平始終相對較低，能夠大幅提升數(shù)據(jù)信息文本在醫(yī)院通信網(wǎng)絡(luò)中的傳輸穩(wěn)定性。