公共人工智能平臺在膝關節骨性關節炎分期中的應用

趙曉陽, 許樹林, 潘為領, 唐慧勇, 張守波

(中國人民解放軍第960醫院淄博醫療區, 山東 淄博, 255300)

膝關節骨性關節炎(KOA)是常見的慢性退行性骨關節病，以疼痛和功能障礙為特征[1-2]。KOA嚴重影響患者生活質量，給其家庭和社會造成嚴重的經濟負擔[3]。KOA準確分期可避免患者病程的快速進展[4]。目前，骨關節炎(OA)常用的3種分期方法[5-6]中, Kellgren-Lawrence (KL)分期使用最廣泛，其結果與疼痛及功能障礙相關，且術前KL分期能預測手術成功率。但人工分期不僅耗時，還會因個人主觀偏倚存在差異。傳統人工智能模型的建立需要大量的專家和資源，普通醫師難以獲得。近年來，谷歌、百度等集團提供了公共人工智能云平臺，使普通醫師能夠在沒有人工智能經驗的情況下建立人工智能模型。但關于公共人工智能平臺對KOA自動分期效果的研究較少。故本研究探討利用公共人工智能平臺對KOA嚴重程度自動分期的可行性。

1 資料和方法

1.1 一般資料

骨關節炎倡議(OAI)是有關KOA研究的公共數據庫，其可供公眾調閱使用。拍攝X線片: 由2名訓練有素的肌骨放射學醫師使用KL系統[7-9]對每張X線片的每個關節進行分期。如有分歧，則由第3位醫師協議解決，最終公布的為共識結果。

本研究下載了一組按照KL分期完成分組的數據。訓練模型最多時使用了其中5 777個關節X線片，并在訓練過程中進行了不同數據集的多次訓練，以求獲得最佳的模型方案，模型訓練在百度公共人工智能平臺EasyDL(https: //ai.baidu.com/easydl/)中進行。該平臺提供免費的人工智能培訓、評估和基于圖像的預測、分類。該平臺計算能力出色，每個模型都可在20 min內完成訓練并進行自我評估[11-14]。平臺分別隨機選擇圖像進行訓練，并使用約為上傳數據集30%的數據進行自我評估。之后，平臺返回本研究模型整體的準確率、F1-score、精確率、召回率以及按照每一個KL分期的F1-score, 用以評價模型價值。訓練過程中，本研究通過調整圖像數據集，訓練了多個迭代版本，最終得到效果最好的模型。其中不同的訓練集以OAtrain加不同下標命名，例如OAtrain 5.0, 各版本所用訓練及測試數據集詳情見表1。

1.2 醫師評價

為了判斷OAI(作為標準)、人工智能模型和單個醫師之間的評分一致性，本研究選取了2名高年資放射科副主任醫師進行KL評分(在應用KL評分系統方面具有多年經驗)。然后按照KL分期，從每個KL等級分別隨機選擇10張X線照片，構成總量為50張圖像的測試集(命名為50-test), 以供上述醫生評分。

表1 訓練及測試數據集詳細信息

50-test: 圖像與訓練數據集均無重復。

1.3 數據預處理及模型訓練

訓練使用的圖像格式為PNG, 分辨率為299像素×299像素。利用多個不同的數據集和多個訓練參數進行組合訓練，得到多個迭代版本。

1.4 效能評估

使用F1-score和加權Kappa系數進行效能評估，其可反映整體及每個KL分類的效能，而且其他關于KL分期的研究中也使用了該參數，使得本研究能夠與之進行比較。F1-score對某類別而言為精確率和召回率的調和平均數，范圍為0～1, 其中1表示完全一致。對于多類分類，平臺及本研究分別計算每個分類的F1-score, 并對結果進行平均。Kappa系數的大小用來衡量2種方法的一致程度,Kappa系數越大說明2種結果越一致，若Kappa≥0.75, 說明結果一致性較好，若Kappa<0.40, 說明缺乏一致性[14]。

1.5 統計學分析

使用SPSS 26.0及Python 3.8軟件進行數據分析，計算加權Kappa系數、準確率、召回率和F1-score, 并對結果進行直接比較。

2 結 果

2.1 模型訓練

以OAI的分期結果為標準，在百度公共人工智能平臺，經過多次迭代訓練，各版本效能結果顯示, 5級V4版本效能最好，其中F1-score為0.72, 準確率為0.73, 見圖1、表2。

圖1 5級V4版本平臺整體評估結果截圖

表2 各版本效能統計

2.2 KL分期系統效能比較

對于50-test測試子集，本研究2位醫師的F1-score和準確率分別為0.63和0.64。模型對該測試子集的F1-score為0.69，準確率為0.70。模型對單個KL分期0期、3期和4期的F1-score超過了醫師，而醫師的KL分期為2期的F1-score更高，另外對KL分期為1期的F1-score兩者相等。這些結果可與THOMAS K A等[10]報告的F1-score進行直接比較。同時，因為子集包含來自每個KL分類的相等數量的圖像，所以這些得分結果可以直接與ANTONY J等[12]研究中報告的加權F1-score進行比較。見表3。

表3 在KL分期系統中醫師及各模型效能比較

2.3 發病率效能比較

KL分期系統中2期特別重要，因為在使用KL分期系統進行隊列選擇時，其經常被用作確定OA發病率的閾值[10]。為了評估模型，確定OA發病率模型的效能，本研究將0期和1期的KL評分合并到一個類別中，并將2期、3期和4期的KL評分合并到另一個類別中。本研究對此在百度人工智能平臺中重新訓練了相應的模型，該模型的總體F1-score和準確率均達到了0.91, 而針對50-test測試子集, F1-score為0.89, 準確率為0.90。2位醫師對此效能的得分為F1-score為0.87, 準確率為0.88。見表4。

平臺測試集準確率原始數據為 308/424, 完整測試集準確率原始數據為2 890/4 090。

表4 在發病率判斷中醫師及各模型效能比較

2.4 一致性評估

在以OAI為標準一致性評估時，在50-test測試子集中醫師的加權Kappa系數為0.76, 此測試子集的模型獲得的加權Kappa系數為0.82, 模型對完整測試集的加權Kappa系數為0.82, 與THOMAS K A等[10]報告的0.86及TIULPIN A等[13]研究模型的最佳Kappa系數0.83相近，見表5。

表5 評價者與金標準一致性比較

在評估評價者之間一致性時，醫師與模型之間的加權Kappa系數分別為0.75和0.74。醫師之間的加權Kappa系數為0.76, 略低于THOMAS K A等[10]報告中的醫師間加權Kappa系數0.79, 高于RIDDLE D等[15]報告中最一致的2個評價者之間的Kappa系數0.65, 見表6。

表6 不同研究醫師間一致性比較

3 討 論

目前, KOA的發病率日益增高，而其診斷和分期依據主要為影像學檢查結果，因此進行準確的影像學分期，對KOA的治療和預后有重要意義。本研究利用公共人工智能平臺建立模型，實現對KOA的自動分期，并取得了良好的效果。

從本研究訓練的模型的表現來看，無論是對KOA按照KL分期系統進行5期分期，還是在KOA發病率的判斷上，本研究模型均取得較好的效能，許多表現達到甚至超過了本研究的高年資醫師。本研究針對KL分期系統的整體效能達到F1-score為0.72, 準確率為0.73, 與之前研究中THOMAS K A等[10]模型的F1-score(0.70)、準確率(0.71)相近。在發病率模型測試中，本研究模型F1-score為0.91, 優于THOMAS K A等[10]報道的0.87, 說明本模型在發病率判斷中的表現較優。在各項一致性評估中，本研究的模型加權Kappa系數為0.82, 略低于THOMAS K A等[10]報告的0.86及TIULPIN A等[13]研究模型的最佳Kappa系數0.83, 但仍可表明其具有較好的一致性，與之前的研究差異較小。

本研究提出的臨床醫師利用公共人工智能平臺訓練模型和利用X線片對KOA進行自動KL分期具有可行性和一定的優越性。首先，由于模型是在云平臺上自動、迅速地進行訓練，因此其在普通個人的計算機上便可運行，不需要專門的、價格高昂的計算機設備及人工智能專業知識儲備。本研究在百度公共人工智能平臺所建立的模型的效能可以達到甚至超出經驗豐富的醫師的評估效能。其次，既往研究往往依賴于手動標注，對圖像進行標注可能會增加噪聲和錯誤的發生，并且需要額外的時間和人力成本。而本研究模型只需上傳圖片數據即可，其操作簡單、便捷，即使毫無人工智能經驗的醫師也可進行操作。既往研究往往需要大量的原始圖片數據，比如THOMAS K A等[10]研究總共使用了40 280張圖像，而本研究最終使用1 445張圖像進行模型訓練，且取得了與其模型相當的效能結果。本研究還發現，提高模型訓練效果的重要因素除增大數據量，還需每個子分類的數據量相當，這一點百度公共人工智能平臺在訓練時也進行了相應提示。在本研究模型訓練過程中，子分類數據量比例失調的數據集得到的結果更好，且選擇AutoDL Transfer算法，在訓練時間及效果上均具有良好表現，推薦在訓練模型時選擇此算法。

本研究使用的公共人工智能模型本質上是一個分類器，平臺可以根據本研究提供的不同類別的圖像進行模型訓練。因此，公共人工智能平臺的潛能不僅限于本研究范圍內，在其他醫療領域范圍同樣具有巨大潛能。隨著越來越多的公共人工智能平臺出現，更多的基層普通醫師可以獲得人工智能服務。本研究認為，公共人工智能平臺將促進醫學和人工智能的共同發展。本研究仍具有一定局限性。首先，本研究使用相對較小的訓練數據集來訓練模型，隨著訓練數據集的增加，模型的性能可能會被影響。其次，本研究將模型性能與僅使用50張圖像進行測試的醫師的評估結果進行比較，醫師測試樣本相對較小，結果可能存在偏差。此外，本研究模型是針對標準的膝關節X線片設定，對一些特殊體位或不標準位置的圖像的分類效果無法判斷。

綜上所述，本研究使用公共人工智能平臺進行模型訓練，利用X線圖像進行KOA的自動KL分期，具有可行性和優越性，為利用人工智能平臺進行臨床研究與工作提供了良好依據。