基于大規模臨床數據深度學習的口腔疾病人工智能預防與診斷平臺的構建

孟凡皓 田瑜 喬波 臧小漪 趙繼志 殷衛紅 李純明 王小英 黃愛萍 遲穎 朱艷春 石玉英 朱鵬 高美琴0 石雪 成宏 張海鐘

(1 中國人民解放軍總醫院口腔頜面外科，北京 100853； 2 中國醫學科學院北京協和醫院口腔科；3 首都醫科大學附屬北京同仁醫院口腔科； 4 成都電子科技大學； 5 華北電力大學； 6 新疆克拉瑪依中心醫院；7 阿里達摩院； 8 騰訊醫療健康有限公司； 9 蘇州市華夏口腔醫院； 10 南通市口腔醫院； 11 連云港成宏口腔醫院)

2018年第四次全國口腔健康流行病學調查報告顯示，5歲兒童乳牙患齲率高達70.9%，12歲兒童恒牙患齲率為34.5%，中老年人患齲率已經接近90%[1]，各個年齡段的患齲率均在一個高位水平。另外牙周病在中老年人群中的患病率也超過了90%[2-3]。近幾年，口腔癌的發病率呈急劇上升趨勢。據統計2017年我國口腔癌的年齡標準化發生率為2.44/10萬[4-5]。另外我國口腔醫生數量嚴重不足，全國注冊的口腔醫師和口腔助理醫師大約有21.7萬人。而且我國醫療資源分布嚴重不均，大約80%的三甲醫院集中分布在大、中城市，西部偏遠山區等的醫療資源極其匱乏[6]。口腔醫生的緊缺和醫療資源的分布不均更加劇了患者看病難的問題。不僅患者需要承擔口腔疾病帶來的各種痛苦以及經濟負擔，而且國家醫療保障系統也承受了相當大的經濟壓力。

口腔疾病的預防和早期治療對于疾病的發展、轉歸和結局至關重要。如窩溝封閉可以有效預防兒童齲齒，有文獻報道，窩溝封閉后24個月的患齲數量為5顆，患齲率僅為2.2%[7]；齲病的及時發現和早期干預可以避免形成牙髓炎，而牙周炎的早期干預可以避免出現牙齒松動、脫落等更為嚴重的后果。在中共中央國務院印發的《健康中國2030規劃》中對口腔健康提出了相關要求，指出“12歲兒童患齲率應控制在25%以內”。說明國家對于口腔健康問題也相當重視。

面對如此嚴峻的國內口腔健康形勢，并針對國家對民眾口腔健康提出的要求，本研究擬建立基于大規模臨床數據深度學習的口腔疾病人工智能預防與診斷平臺，利用人工智能和大數據分析等輔助診斷技術的優勢[8-10]，以緩解醫生的工作壓力，解決患者看病難的問題，使偏遠地區的居民也能享受到便利、優質的口腔疾病問診服務，滿足全民口腔健康的需求。基于此，本文從海量口腔多模態影像大數據收集及初步處理、口腔疾病的協同推理和智能分析、口腔疾病知識圖譜的構建及口腔疾病演化預測等3個方面，探討基于大規模臨床數據深度學習的口腔疾病人工智能預防與診斷平臺的構建。

1 口腔疾病人工智能預防與診斷平臺簡介

該平臺匯集了理、工、醫多學科專家，圍繞科學與工程計算、大數據與人工智能等國家重大戰略需求中的關鍵技術問題，進行了多學科交叉融合研究。通過人工智能對大數據進行分析處理及自主學習，以口腔圖像的共性問題為核心，依靠圖像分割、檢測和分類等技術構建具有非凸、非線性性質的多模態醫學圖像數據處理模型，建立深度學習理論框架下的函數空間的學習理論和最優算法；基于新型口腔內窺鏡采集到的口腔圖像，構建大規模臨床數據深度學習的全民口腔疾病智能預防、診斷平臺；同時以成熟的阿里云服務平臺為依托，實現對用戶口腔健康狀況的實時監測與預防指導，并對口腔疾病做出預警與診斷，推薦個性化的治療方案，引導患者盡早干預治療。該平臺對患者全流程的口腔檢查數據進行跟蹤，建立患者口腔健康演化圖，通過深度學習網絡構建口腔疾病預測系統，實現個性化治療方案的推薦(圖1)。

2 海量口腔多模態影像大數據的獲取及初步處理

海量多模態數據的收集是構建平臺的第一步，多模態數據主要包括以下3種：從醫院PACS系統導出的DICOM格式CT和X線影像數據；由臨床醫生或用戶使用無線智能內窺鏡(圖2A)拍攝的照片，照片可以清晰地顯示出色素沉積(圖2B)、窩溝齲(圖2C)、牙石(圖2D)、牙齦腫物(圖2E)等；患者的病歷以及平臺的問卷調查形成的文本數據。另外，通過與多家國內知名綜合醫院或口腔專科醫院等醫療機構合作，在我中心現有醫療數據的基礎上擴充口腔齲病、牙周病和口腔癌方面的數據。構建平臺的第二步即是對收集的數據進行處理加工，涉及到的核心技術主要為知識加工、深度搜索和可視交互等。由于原始數據的多元性，因此需首先由醫生篩選出高質量的圖像數據，并完成疾病標注，再對數據進行清洗整合，判斷其完整度，同時依據相應的標準進行初步鑒別及診斷信息標注，為后續的深度分析及知識圖譜構建建立基礎。海量影像數據收集與處理流程詳見圖3。

圖1 口腔疾病人工智能預防與診斷平臺示意圖

A：自主研發的第二代智能內窺鏡，B：色素沉積，C：窩溝齲，D：牙石，E：牙齦腫物

另外，該平臺依托阿里云服務強大的大數據管理能力，使用對象存儲、表格存儲等方案實現對數據的存儲，采用物聯網套件實現數據通道及一站式數據采集、存儲托管服務，以此來保障平臺信息在存儲、傳輸、管理方面的安全性。同時平臺還對問診的用戶信息進行匿名化處理，以保護用戶隱私，并且采用統一的傳輸標準，進行多中心間的數據傳輸。

圖3 海量影像數據收集與處理流程示意圖

3 口腔疾病智能分析系統

目前齲病和牙周病的臨床診斷主要是根據患者的臨床癥狀、探診檢查和影像學檢查等進行綜合評判。然而，這一綜合評估非常依賴于臨床醫生的個人經驗，不同臨床醫生之間診斷的差異導致了口腔疾病治療的方案不同。本系統利用人工智能、大數據、深度學習、跨模態分析的核心技術算法，對齲病、牙周病和口腔癌等口腔疾病進行智能診斷、識別以及分期/分級，以實現口腔疾病的智能篩查。首先對收集到的數據進行清洗、標注等加工整理后，采用降噪、自適應灰度值顏色歸一化、位置大小歸一化等方法將圖片位置、顏色標準化，通過模板匹配方法或深度學習目標檢測方法，如FPN、SSD、Yolo、Faster-RCNN等，實現牙齒的自動定位。再采用卷積神經網絡，結合人工預先設計的灰度、形狀、紋理等特征(如從灰度共生矩陣、灰度直方圖、輪廓等方面提取圖像特征)，最終可以應用分類器實現對口腔疾病的分類或分期/分級[11-13]。通過深度學習結合傳統方法實現口腔疾病的定位和分類，并將機器自動生成的診斷結果與數據庫中的病歷診斷結果進行對比，不斷進行算法模型的訓練與優化，使其更適應口腔內齲病、牙周疾病和口腔癌等疾病特征，達到對口腔疾病級別或類別進行劃分的目的(圖4)。

4 構建口腔疾病知識圖譜，實現對疾病演化的預測

利用概念識別、實體發現、屬性預測等技術提取患者主要癥狀，基于深度學習數據挖掘和協調推理技術，結合疾病的自然演變特征及規律，構建口腔疾病演化進程的知識圖譜。通過人工智能自動檢測和分級技術實現對口腔不同部位、拍攝角度不同牙齒的疾病分級。采用結合協同濾波和深度學習方法的協同深度學習模型(CIDL)作為口腔疾病治療方案推薦算法[14-15]。具體為使用卷積神經網絡、SIFT、LBP、HAAR等技術提取圖像特征，將圖片映射到特征空間，應用分類器檢測口腔疾病特征并分析口腔疾病分級/分期，獲得口腔中不同部位牙齒的齲病等級或口腔癌原發灶臨床分期。同時還建立了同一患者的口腔健康演化圖，分析口腔疾病不同維度、不同階段的表征，推理該患者的疾病易感因素，以及預測疾病演化趨勢，構建口腔疾病預警系統。最終將分級結果輸入到預測預警與推薦模塊中，給予患者口腔疾病的預測和治療方案的推薦；并構建治療方案評價函數，優化風險系數，結合醫生的臨床經驗推薦個性化治療方案。

圖4 人工智能自動檢測和疾病分期/分級系統結構圖

5 全民免費服務平臺應用

運用上述算法針對常見且具有明顯特征的口腔疾病，如齲病、牙周病和部分口腔癌等疾病，人工智能平臺可以自動回復，并提供初步建議，指導用戶如何進行治療。而對于人工智能平臺無法直接識別判斷的疾病，平臺篩選后提交給后臺的專家醫生團隊，經專業口腔醫生評估后，形成初步意見，再通過平臺回復給用戶；同時平臺還會根據本次專家使用的影像資料和給予的診斷結果再進行學習，通過智能篩查比對優化迭代算法模型，以此不斷完善智能診斷結果，當再次有用戶提交類似的影像資料時，平臺便可以直接自動回復。總之，平臺可以將智能推薦的診斷治療方案與口腔醫生給予的診斷治療方案相結合，從中選擇最佳的治療建議。治療咨詢結束后，患者和口腔醫生均要對治療的效果進行評估，評估的結果同樣再存儲于數據庫，進一步豐富數據庫內容，也再次優化該人工智能模型[16-17]。該平臺不僅僅只是針對患者，對臨床醫生來說，也可以實時、可靠、全面地提供診斷和治療方案[18-19]。

本平臺目前已經注冊了騰訊微信公眾號——賽牙(圖5A)，初步實現了遠程咨詢會診。例如當有用戶通過內窺鏡拍攝了牙齒照片，并上傳給“賽牙”進行問診時，平臺會自動解答疑問，給予初步診斷結果及治療建議。用戶的咨詢及回復內容詳見圖5B。

6 總結與展望

該平臺為患者提供了便捷的遠程診療系統，降低了患者的就醫時間和經濟成本，特別是對于偏僻山區居民、邊防戰士等均可以進行實時口腔問題的咨詢，獲取口腔預防保健的相關知識以及相應的預防和診斷建議。滿足了全民迫切的口腔健康需求，也積極響應了《健康中國2030規劃》戰略方針。下一步平臺的發展規劃為，在現有大數據的基礎上，進一步擴大數據量；不斷優化迭代算法；拓展適用范圍，使其不僅僅局限于口腔疾病，期望能擴展至包含皮膚疾病等的全身性疾病；在口腔癌方面，未來希望能借助于口腔拭子的基因檢測結果，實現口腔癌的早期篩查和診斷。最終期望該平臺發展成為全民免費的牙齒保健和口腔癌預防的人工智能平臺。另外，該平臺還考慮將以多語種形式呈現，實現多種語言環境的應用，不斷擴大受眾范圍。