放射治療信息系統可用性評估模型構建研究

江明尹，李 強，王道雄，孫冬杰

（華中科技大學同濟醫學院附屬同濟醫院器材科，武漢430030）

0 引言

伴隨著科學技術的不斷發展，不少高精尖放射治療技術不斷進入臨床，并應用于患者的腫瘤治療，大大提高了患者的腫瘤治療質量和就醫安全性。然而，新放射治療技術的應用在提高患者就醫質量的同時，不可避免地引入了新的使用風險。美國醫學物理師協會2016年發布的The report of Task Group 100 of the AAPM：application of risk analysis methods to radiation therapy quality management報告表明，35．4%的放射治療失誤是由人為使用失誤引起的[1]。相關研究表明，人為使用失誤的發生與醫療器械可用性設計密切相關[2]?？捎眯栽O計低劣的放射治療信息系統未能考慮終端用戶的使用能力、知識水平及身體限制等因素，易引發使用人員的人為使用失誤。因此，如何客觀評估當前在用放射治療信息系統的可用性是提高放射治療信息系統可用性設計水平的關鍵[3]。目前，針對放射治療產品可用性主要從主觀和客觀2個方面展開測量評估。如Chan等[4]利用客觀評價指標任務完成時間、任務錯誤率和主觀使用意愿評價量表作為可用性評估指標，評估了優化設計前后放射治療信息系統的可用性。Mazur等[5]通過可用性測試研究了放療物理師在放射治療計劃系統上執行測試任務時主觀工作負荷和客觀工作負荷(瞳孔直徑、眨眼速率)評價指標之間的相關關系。Jiang等[6]從用戶體驗的角度，利用美國國家航空航天局任務負荷指數(national aeronautics and space administration task load index，NASA-TLX)量表、測試后可用性問卷(poststudy system usability questionnaire，PSSUQ)評價了3種不同放射治療信息系統的可用性設計。

當前，評價放射治療產品可用性時，研究學者大多采用1種或2種客觀評估指標(如任務時間、錯誤率等)[4]、主觀評價量表指標和眼動指標[5-6]，可用性評價的指標集過于單一，未能全面囊括放射治療產品可用性設計對用戶使用的影響。此外，評價指標過于單一容易導致評價的結果發生偏移。因此，豐富放射治療產品可用性評價指標，可在一定程度上確保評價結果的準確性。研究表明，用戶的皮膚導電性、皮膚溫度、呼吸頻率、心率等作為使用放射治療產品時產生的直接生理反應，可用于評估放射治療產品可用性設計對用戶生理狀態的影響程度[7]。因此，本文采用效率、主觀評價量表、眼動和生理等可用性評價指標，通過用戶更為準確地評估放射治療產品的可用性。此外，考慮到已有研究未能綜合整合不同類型的評價指標，使之形成系統的可用性評估模型，本研究采用偏最小二乘回歸法建立多指標融合的放射治療信息系統可用性評估模型，實現對放射治療信息系統可用性較為準確的評估。

1 研究方法

1.1 研究對象

本研究納入了臨床在用不同廠家和品牌型號的A(產品型號：Trilogy?linear accelerator system，軟件版本：Varian 9．1 control system)、B(產品型號：XHA600E system，軟件版本：XHA600E control system 1．3．12．174)2種放射治療信息系統作為本次可用性的研究對象。

1.2 放射治療信息系統可用性評價指標選取

為了有效評估在用放射治療信息系統的可用性，本研究擬從效率、主觀評價量表、眼動和生理4個維度選擇多個評價指標，綜合表征放射治療信息系統的可用性。

1.2.1 主觀評價量表

(1)系統可用性量表(system usability scale，SUS)。

放射治療信息系統可用性可使用SUS進行評判。SUS由10個主觀評測條目構成，包含5個正向測評條目和5個反向測評條目，所有測評條目采用5分評分制(1～5分，1分為非常不同意，5分為非常同意)，被試的評估得分經過換算轉換為百分制得分[8]。研究表明，當SUS得分＞70分時，被評估系統的可用性是可以接受的[9]。

(2)任務難易程度量表。

放療技師在放射治療信息系統上完成的特定測試任務的難易程度通過9分制Likert scale(1分為非常困難，5分為中立，9分為非常容易)進行評估，以便研究人員從放療技師主觀維度了解放射治療信息系統的易用程度。

(3)NASA-TLX量表。

NASA-TLX量表由美國宇航局設計，用于評判被試在完成試驗任務時的工作負荷，主要包含腦力需求、體力需求、時間需求、業績水平、受挫程度以及努力程度6個評測維度[10]。從6個維度對被試進行評分，并換算成百分制得分，從而獲得被試完成實驗任務的工作負荷。

(4)有用性、滿意度、易用性(usefulness，satisfaction，and ease of use，USE)量表(界面友好性評估量表)。

USE量表主要從有效性、易用性、易學性以及滿意度4個維度綜合評估產品人機交互界面設計友好性[11]。USE量表共計30個評價條目，每個條目的評分分布從1分(不同意)到7分(非常同意)。

1.2.2 效率評價指標

將任務完成時間作為效率評價指標，通過任務完成時間評測被試完成實驗任務的效率。

1.2.3 眼動指標

借助已有可用性研究文獻[12-14]，本次研究中選取了如下眼動評價指標：瞳孔大小、注視點個數、平均注視時間、總注視時間、眨眼次數、平均眨眼時間、眨眼頻率、眼跳次數、總眼跳時間。

1.2.4 生理指標

為進一步完善放射治療信息系統可用性評價指標，本研究將被試完成實驗任務時的生理信號作為可用性評價指標。依據已有研究[7]，本研究將皮膚導電性、皮膚溫度、呼吸頻率、心率4個生理指標作為可用性評價指標。

1.3 實驗任務

本研究的目的是對2種臨床在用放射治療信息系統開展可用性測試研究，建立放射治療信息系統可用性評估模型，用于臨床在用放射治療信息系統的可用性評估。因此，依據臨床使用人員日常使用的功能和操作流程，提煉了以下4個任務用于可用性測試：(1)查找患者信息及導入放射治療計劃；(2)審核患者放射治療計劃；(3)患者進行放射治療時讀取治療界面參數信息；(4)讀取放射治療信息系統聯鎖報警信息。

1.4 被試選取

放射治療信息系統一般由放療技師進行操作，因此選取放療技師作為本研究的被試。項目組通過制定嚴格的篩選標準，共選取了30名放療技師參與本研究。參與研究的放療技師具有豐富的放射治療信息系統操作經驗，從而能夠對本研究的測試內容進行正確應答。

1.5 實驗設備

實驗的數據采集設備包括用于記錄被試眼動數據的Tobii Glasses 2眼動儀和采集被試生理數據的PsyLAB生理采集系統。

1.6 放射治療信息系統可用性測試實驗流程

在進行正式實驗測試前，所有被試都處于良好的健康狀態。具體實驗流程如圖1所示。

圖1 放射治療信息系統可用性測試實驗流程圖

(1)實驗流程介紹及被試資料收集。項目研究人員簡要向被試介紹實驗流程以及實驗注意事項，并利用問卷收集被試人口學資料。

(2)熟悉實驗放射治療信息系統。實驗前，項目研究人員將對被試進行實驗放射治療信息系統的操作培訓，避免被試出現使用偏倚。同時，被試在測試人員的指導下可進行與實驗任務無關的操作。

(3)調試數據采集設備。實驗前，對眼動、生理數據采集設備進行調試，為被試佩戴好數據采集設備，使數據采集設備處于可用狀態。

(4)采集生理基線資料，進行眼動儀校準。實驗前，需要采集被試在靜息狀態下的3 min生理信號基線資料，用作后期的數據處理。同時，需要被試在研究人員的指導下校準眼動儀，確保實驗中采集的數據準確可靠。

(5)正式實驗。被試在研究人員的引導下完成4個測試任務。在被試完成實驗任務過程中，研究人員將采集被試的眼動、生理和任務完成時間數據。被試在某一型號放射治療信息系統完成所有試驗任務后，依次填寫任務難易程度量表、NASA-TLX量表、USE量表和SUS。填寫完主觀評價量表后，被試依據實驗流程開展下一個放射治療信息系統的可用性測試實驗。

2 放射治療信息系統可用性評估模型的構建

2.1 建模指標的篩選

通過實驗研究，共獲得30名被試在2種不同型號放射治療信息系統進行可用性測試的效率(任務完成時間)、主觀評價量表(任務難易程度量表、USE量表、NASA-TLX量表、SUS)、眼動數據和生理數據。首先，進行數據的整理，剔除異常數據；其次，將SUS得分作為分類變量。研究表明，當SUS得分＞70分時，被評估系統的可用性是可以接受的；當SUS得分≤70分時，被評估系統的可用性不可接受[9]。

通過整理，共獲得60組有效數據。以SUS得分作為分類變量將所獲得的60組數據分為2組(＞70分作為一組，≤70分作為另一組)。然后再以SUS得分作為影響因素，利用SPSS 26.0統計軟件對放射治療信息系統可用性測試實驗獲得的效率數據、主觀評價量表數據、眼動數據和生理數據進行方差齊性檢驗，結果見表1。

表1 放射治療信息系統可用性評價指標方差齊性檢驗

方差齊性檢驗的結果表明，所有可用性評價指標(效率指標、主觀評價量表、眼動指標和生理指標)P均＞0.05，可進一步用于放射治療信息系統可用性評估建模研究。同時，研究人員利用SPSS 26.0統計分析軟件的P-P圖功能對所有指標數據的分布進行了檢驗，結果表明，所有數據均近似服從正態分布。在此基礎上，研究人員進一步對所有可用性評價指標進行單因素方差分析，結果見表2。

表2 放射治療信息系統可用性評價指標單因素方差分析

單因素方差分析結果表明，效率指標(任務完成時間)、主觀評價量表(任務難易程度量表、USE量表、NASA-TLX量表)、眼動指標(眨眼頻率、總注視時間)6個指標P＜0.05，可用于放射治療信息系統的可用性評估建模。生理指標由于不滿足建模指標入選條件，未能納入建模研究。

2.2 模型構建方法的選擇

為正確建立放射治療信息系統可用性評估模型，必須確認評估指標間的相關關系，表3揭示了建模指標間的相關系數。通過統計學相關分析方法，可以判斷兩變量之間是否存在相關關系。已有研究表明：當變量之間存在高度相關關系時，變量相關系數絕對值在0.8~1.0；當變量之間存在強相關關系時，變量相關系數絕對值在0.6~0.8；當變量之間存在中等程度相關關系時，變量相關系數絕對值在0.4~0.6；當變量之間存在弱相關關系時，變量相關系數絕對值在0.2~0.4；當變量之間為極弱相關或不相關關系時，變量相關系數絕對值低于0.2[15]。

表3 放射治療信息系統可用性建模指標間相關關系(r值)

建模指標相關關系分析表明，不同可用性評價指標間存在多重共線性關系，各個評價指標并非相互獨立，傳統的多元回歸建模方法并不一定完全適用。因此，本研究選擇偏最小二乘回歸法作為建模方法。偏最小二乘回歸法建模所需要的樣本量少，能解決建模指標高度相關問題，并能較好地解釋多個自變量與因變量的關系，且建模結果更加穩定可靠，更適用于本研究的模型構建[16]。

2.3 放射治療信息系統可用性評估模型建立

以效率指標(任務完成時間)、主觀評價量表(任務難易程度量表、USE量表、NASA-TLX量表)、眼動指標(眨眼頻率和總注視時間)作為自變量，以SUS得分作為因變量。同時，從獲得的60組樣本數據中隨機挑選53組作為訓練樣本進行建模，剩余7組作為模型驗證樣本，并利用MATLAB軟件作為建模工具，標準化建模數據集，編寫偏最小二乘回歸代碼，從而獲得放射治療信息系統可用性評估模型：

式中，Y為SUS預測得分；X1為任務完成時間；X2為任務難易程度量表得分；X3為USE量表得分；X4為NASA-TLX量表得分；X5為眨眼頻率；X6為總注視時間。

2.4 放射治療信息系統可用性評估模型解釋

由獲得的放射治療信息系統可用性評估模型可知，在所有可用性評價指標中，起重要作用的指標是USE量表和眨眼頻率，其次為任務難易程度量表和總注視時間。在這些可用性評價指標中，任務完成時間、任務難易程度量表、NASA-TLX量表和總注視時間4個指標起負向作用，USE量表和眨眼頻率這2個指標起正向作用。使用人員在放射治療信息系統完成操作任務時間越長，主觀感覺任務完成難度越大，工作負荷越大；在完成任務時使用人員總注視時間越長，表明放射治療信息系統可用性越差。此外，使用人員USE量表評分越高，眨眼頻率數值越大，表明放射治療信息系統可用性越好。

2.5 放射治療信息系統可用性評估模型有效性驗證

為驗證放射治療信息系統可用性評估模型的有效性，將7組剩余的評價指標數據代入所得評估模型中，獲得放射治療信息系統SUS預測得分，并利用SPSS 26.0統計軟件將模型SUS預測得分與實際得分進行配對樣本t檢驗。結果表明，預測值與實際值比較P=0.593＞0.05，表明預測值與實際值無顯著性差異，說明研究獲得的放射治療信息系統可用性評估模型有效，可用作放射治療信息系統的可用性評估。圖2為模型可用性預測得分與實際得分對比圖。

圖2 放射治療信息系統可用性評估模型預測得分和實際得分對比

3 討論

研究結果表明，效率指標(任務完成時間)、主觀評價指標(任務難易程度量表、USE量表和NASATLX量表)、眼動指標(眨眼頻率和總注視時間)可用于放射治療信息系統可用性設計評估。任務完成時間作為效率考核指標，常常用于評價醫療器械可用性設計的優劣。醫療器械可用性設計的優劣關系到使用人員的操作效率，在本研究中，任務完成時間在單因素方差分析中具有顯著性差異，表明放射治療信息系統制造廠商需要注重放射治療信息系統的使用效率。此外，不少可用性研究將主觀評價量表作為可用性評估的重要指標。如任務難易程度量表，Uzawa等[17]評估呼吸機可用性時，將任務難易程度量表作為評價呼吸機可用性的主觀評價指標，通過獲取使用人員完成任務時的主觀感知難易度側面評估醫療器械可用性設計的優劣。同時，醫療器械可用性設計優劣同樣會影響使用人員的工作負荷(NASA-TLX量表得分)和用戶友好體驗(USE量表得分)。研究表明，可用性設計較差的醫療器械產品會增大使用人員的工作負荷和降低用戶體驗[18]。

另外，眼動指標中的眨眼頻率和總注視時間在單因素方差分析中也存在著顯著性差異。注視時間代表被試完成任務時關注某塊興趣區域的停留時間，反映了被試獲取試驗任務相關信息的難易程度。相關研究結果表明，注視時間持續越長，被試的認知負荷越大，醫療器械可用性設計越差[19]。同時，相關研究還表明，眨眼頻率與被試的工作負荷存在相關關系[5]。被試的眨眼頻率會隨著工作負荷的增大而降低。因此，本研究中將眨眼頻率作為放射治療信息系統的可用性評價指標。

此外，在本研究中，不同可用性評價指標之間存在著相關關系，如任務完成時間與USE量表、眨眼頻率呈負相關，與任務難易程度量表、NASA-TLX量表和總注視時間呈正相關，表明被試任務完成時間越長，工作負荷越大，主觀感知任務難易程度越大，放射治療信息系統可用性設計越差。因此，可以綜合使用多種指標表征系統可用性。本研究建立的放射治療信息系統可用性評估模型可靠有效。放射治療信息系統制造廠商可依據研究建立的模型有針對性地優化、改進系統可用性設計，進一步提高臨床使用人員的用戶體驗。

4 結語

本文以放射治療信息系統可用性設計為研究對象，選取了30名放療技師在2種臨床在用放射治療信息系統上完成特定的實驗任務，運用效率指標、主觀評價量表、眼動指標和生理指標綜合評估放射治療信息系統的可用性。通過對實驗采集的評價指標數據進行方差齊性檢驗和單因素方差分析，篩選了6個可用性評價指標用于評估建模，利用偏最小二乘回歸法篩選建模指標，建立了放射治療信息系統可用性評估模型，并對評估模型的有效性進行了驗證。研究表明，效率指標、主觀評價量表和眼動指標會因為放射治療信息系統可用性設計的不同產生不同變化。本文建立的放射治療信息系統可用性評估模型可通過主觀和客觀測量數據對放射治療信息系統的可用性進行評判，為放射治療信息系統的可用性優化設計提供了優化方法和評價工具。