在線健康社區醫生多模態信息融合對患者決策行為影響研究

陳東華 張潤彤

(1.對外經濟貿易大學信息學院，北京 100029；2.北京交通大學經濟管理學院，北京 100044)

隨著醫療信息化的快速發展、新型醫療健康設備廣泛使用和互聯網醫療平臺迭代更新，海量且類型多樣的醫療健康數據分析應用尤為迫切[1]。近年來，智慧醫療的興起預示著醫療健康4.0產業的快速發展，傳統醫療模式逐漸向大健康模式轉變。臨床決策支持的準確性直接關系到患者的生命健康安全，而高效的多模態數據分析方法能改善現有單模態數據驅動的臨床決策支持可靠性[2-3]。在我國，諸如心腦血管疾病、癌癥、糖尿病、慢性阻塞性肺病等慢性病已成為嚴重威脅居民健康的疾病，成為影響國家經濟社會發展的重大公共衛生問題。我國高血壓患病率高達25%，糖尿病患病率超過10%，心血管病占居民疾病死亡構成比例超過40%，帕金森病患者數量約占全球該疾病患者的30%以上等，這些患者的診療和健康管理需要結合多方面數據源的綜合性決策支持。每一種信息的來源或者形式可以視為一種模態，而多種模態的數據融合稱之為多模態數據融合。Chandrasekaran G等認為，多模態情感分析提供了基于視頻、音頻和文本組合進行觀點分析的方法，這在理解人類行為方面超越了傳統的基于文本的情感分析[4]。由此可見，實現這些慢病患者龐大人群的早期篩選、風險預測、預警與綜合干預管理更離不開高效的多模態醫療健康數據分析和挖掘[5]。

我國醫療信息化經歷了30多年的探索和發展，現階段正在加速推進以電子病歷為核心的智慧醫院建設。《“健康中國2030”規劃綱要》提出了要建設我國健康信息化服務體系，全面夯實全民健康信息化標準基礎，大力豐富全民健康信息化應用，充分利用信息化、智能化的新興技術，支撐以人民健康為中心的全周期整合型醫療健康服務體系建設，推動我國醫療信息化邁向數字健康新時代。新冠疫情全球大流行背景下催生了我國智慧醫療行業的快速發展，多模態醫學數據從數量和維度上也在快速地增長，多模態數據驅動的智慧醫療決策支持場景不斷拓展。數字健康數據是多模態和高維的[6]。患者的健康狀態可以通過多種信號來表示，包括醫學成像、臨床變量、基因組測序、臨床醫生與患者之間的對話以及來自可穿戴設備的連續信號等。臨床決策支持、在線健康管理以及遠程醫療服務成為典型的3個場景。然而，在這些場景上如何解決多模態醫學數據環境的決策支持精度不足、在線健康信息不可靠、醫療服務質量難以評估等成為互聯網醫療發展的障礙。

本文以好大夫在線網站數據為例，提取在線醫生的多模態信息特征并進行融合，利用多種數據挖掘方法研究這些多模態數據特征對患者用戶決策行為的影響。首先，我們收集好大夫網站中與醫生和患者相關的多模態信息，包括醫生基礎信息、醫生發布文本帖子、音頻文章、視頻文章、醫生頭像等不同形式的數據；然后，對這些多模態信息進行特征抽取和情感分析，在此基礎上研究好大夫網站中醫生信息、發布的音頻文章、視頻文章等多模態信息對醫生和患者決策行為的影響。最后，進一步深入探討互聯網醫療多模態數據融合與互聯網用戶決策行為的關系，為實現高質量的互聯網醫療健康服務的決策支持提供借鑒。

1 文獻綜述

大數據驅動的智慧醫療健康決策正在面臨著不斷累積的多模態數據和復雜的智慧醫療場景引發的各類問題和挑戰[7]。其問題包括醫學數據完整性差、多模態數據內部具有異質性、多模態數據融合算法尚未成熟、多學科交叉研究協作機制不完善等，這些問題在當前亟待解決。我們分別從健康信息素養對在線用戶決策行為的影響、社會行為理論對患者健康決策能力的提升以及多模態信息在互聯網醫療的應用三方面進行文獻綜述。

1.1 健康信息素養對在線用戶決策行為影響研究

在線健康社區中患者健康信息素養對其決策的影響密切相關。“健康信息素養(Health Information Literacy)”的研究經歷了一個概念演變的過程，是“信息素養(Information Literacy)”概念和“健康素養(Health Literacy)”概念的交叉融合。該概念在信息能力與健康素養的交匯融合中突顯出健康信息素養的重要性與內涵元素。由于健康素養與信息的緊密聯系，美國醫學圖書館學將健康信息素養定義為“健康信息素養指一系列識別健康信息需求、知曉如何獲得健康信息并評估健康信息、并利用健康信息做出良好健康決策的能力總和”。

在開放社交媒體環境中非權威健康信息影響用戶健康信息素養的形成。在互聯網環境中，由于信息是開放的，在個體特征方面，年齡、性別、健康素養等因素對在線用戶的失真信息可信度判斷具有顯著影響，比如，大學生對媒體健康信息具有偏向性和盲目性[8-9]。比如，患有慢性疾病的老年人會傾向于查詢相關健康信息，并使用這些信息解決或者緩解目前的健康問題，其健康信息素養也會因此提升[10]。郭昊男等總結了國外在線健康社區的經驗，包括開發健康信息質量測評工具、用戶電子健康素養的測評、用戶電子健康記錄的保護措施，并認為未來應從提高在線醫療健康網站信息質量、提升全民電子健康素養和保障在線健康社區用戶數據信息安全的角度提升社區服務質量[11]。社交媒體的健康信息可靠性及用戶信任是其中的關鍵。唐旭麗等在傳統信息采納模型的基礎上，融入社會支持理論,綜合考慮健康素養和信任的關鍵作用，利用結構方程模型,用戶的健康素養對來源可信度和信息支持間的關系起到正向調節作用,對論據質量和信息支持間的關系起到負向調節作用[12]。

當期，國內缺乏對在線公眾用戶健康信息素養的評價研究。我國除了國家衛生計生委編制的全國居民健康素養監測調查問卷，目前還沒有影響力較大的全面、專門用于健康信息素養的評價工具，這嚴重制約了健康信息素養研究的開展。國外已有一些相對成熟的健康信息素養測評工具，包括功能性健康信息素養測評工具、交互性健康信息素養測評工具、批判性健康信息素養測評工具等[13]。應借鑒國外相關經驗，發展適用于我國文化環境的健康信息素養測評工具。

1.2 社會行為理論在健康信息素養提升的研究

社會行為學、管理學和心理學相關理論在健康信息素養影響機理研究和提升路徑發揮重要作用。學者們對在線健康社區的理論和模型大多都是基于心理學等學科理論，如社會文化理論、技術接受模型等經典理論模型。

首先，在線健康社區的各類知識共享機制研究能推動在線用戶對信息的信任，也增強用戶的健康信息素養。張星等將社會交換理論、社會支持理論和信任理論相結合研究影響在線健康社區用戶持續知識貢獻意愿的因素，結果表明，對用戶的信任正向影響對社區的信任，對社區的信任顯著正向影響持續知識貢獻意愿，時間與精力對持續知識貢獻意愿有顯著負向影響[14]。覃子珍等則從收支博弈視角解析用戶在社交媒體中的持續搜索健康信息的心理路徑，總結出平臺的技術特性和便利性可有效提升用戶對社交媒體健康信息搜索價值的感知,當用戶搜索健康信息時會弱化對社交平臺風險的感知,而健康信息的有用性才是影響用戶感知價值和達到滿意的根本。Gupta V等提出了一種新的情感關懷方案，分析與COVID-19相關的實時推文中包含的多模態文本數據，其中研究了自然、封鎖、健康、教育、市場和政治等多個類別的八級情緒，分別為憤怒、預期、厭惡、恐懼、喜悅、悲傷、驚訝和信任[15]。Moro C等描述了在使用技術教育健康學生時集成多模態數據的一系列選項[16]。由于健康和醫學教育的動態和不斷變化的性質，教育工作者在將多模態學習引入他們各自的課程時也帶來巨大的收益。

目前國內尚缺乏統一的在線健康信息共享的信用檔案體系數據，難以量化其中指標，在線健康信息的真實性、準確性將直接影響用戶的判斷，建設效果也難以量化[17]。而王兆侖認為，互聯網醫療信息平臺要不斷加強醫療標準的應用,加強信息的可信度建設，不斷優化互聯網醫療信息信任生態[18]。彭昱欣等結合動機理論和社會資本理論，從多個維度探討影響醫學專業用戶知識共享意愿的因素，發現醫學專業用戶知識共享意愿與普通用戶之間的共享行為的差異，彌補對醫學專業用戶研究較少的問題[19]。桂平等基于網絡口碑和社會交換理論，發現互惠、聲望追求和利他顯著影響健康知識共享意愿，而信任對共享意愿的影響沒有得到支持[20]。

從以上研究可以知道，信息質量、服務質量、系統質量正向影響自我推薦意愿；在線醫療平臺認知聲譽、醫生認知聲譽、醫院認知聲譽正向影響從眾推薦意愿；從眾推薦意愿對在線健康行為的影響不具有顯著調節作用[21]。因此，信任理論在互聯網醫療用戶間信任和健康決策行為發揮重要作用。

1.3 多模態信息在互聯網醫療的應用研究

在線環境中，醫學專業用戶能持續貢獻可信的多模態在線健康信息，在用戶之間建立起信任，消除在線患者決策不確定性。張帥等通過探究在線健康社區用戶持續參與行為的演化規律及動力機制，發現其用戶持續參與行為與其他付出成本、聲譽收益和社會支持收益密切相關[22]。Koteyko N等學者研究了Facebook在Ⅰ型和Ⅱ型糖尿病用戶的生活中的作用，以及他們在持續代表長期生活狀況時采用的多模態話語實踐[23]。該研究發現，研究參與者進行的多模態活動包括建立與糖尿病管理相關的個人專業知識，融入了更廣泛的糖尿病相關社交網絡，通過語言和視覺提升了自我管理的能力。成全等提出，實現多源異構信息資源融合的在線健康社區多層級融合框架，從數據級融合、特征級融合及決策級融合逐層剖析在線健康信息多層級融合的實現路徑[24]。

互聯網上單一方面的健康信息往往是片面而不可靠。在線健康社區中阻礙構建可靠的健康問答系統的兩個特點是：首先，醫生的答案通常用短文本編寫，這會產生數據稀疏問題；然后，問答系統采用質量控制機制，難以體現大眾的智慧。Hu Z等不僅結合了答案的標準文本特征，而且還從其他模態中引入了一組獨特的非文本特征，例如，非常流行使用的表面語言特征和新穎的社會特征來提升分類精度[25]。Triantafyllopoulos D等學者引用了一種用于癲癇管理的多模態實時分析系統的實現，對持續動態的患者生理信號監測，這將改善患者的治療并實現積極的個人健康管理[26]。

多模態數據分析已經在數字健康領域發揮重要的作用。Sindoni M G采用多模態話語分析方法來研究如何在預防自殺的心理健康話語中鼓勵和表達同伴支持[27]。與之前的研究不同，該研究側重于使用多模態資源(如頁面的視覺效果、布局和超鏈接)關聯人際關系，以了解在線平臺中專業醫療健康服務提供者和醫護人員如何將身份具體化。Yang X等提出了一種利用社交媒體上多模態數據自動檢測藥物濫用和處理的新方法，能夠識別與毒品相關的帖子并分析與毒品相關的用戶帳戶行為模式[28]。黃曉斌等通過了解在線健康社區中青少年用戶的健康信息需求及主題分布情況，為平臺滿足青少年用戶的健康信息需求提供借鑒[29-30]。結合可穿戴設備技術，Kaczmarek M等展示了基于傳感器的多模態數據分析平臺，旨在識別老年人在家中進行的活動。Emokpae L E等提出的解決方案實現了具有多模態生理傳感能力的物聯網系統，傳感器節點集成在可穿戴襯衫中，以無創方式進行連續監測，并在網關處使用先進的機器學習技術收集和分析數據，以便醫療健康服務提供者進行遠程訪問[31]。

多模態數據融合分析對在線健康社區平臺創新應急服務水平的提升也具有重要意義。郭鳳儀等研究發現，情感強度與話題突發強度存在正向弱相關關系，隨著話題突發強度增強，其用戶情感類型也會有所不同。鄧君等基于兩級傳播理論對在線健康社區意見領袖交互行為進行研究，發現百度“自閉癥吧”整體網絡具有小世界效應，識別出的意見領袖各項個體指標數值均偏高，處于整體網絡核心位置，有利于推動信息在來源層、意見領袖層和受眾層間穩定流動[32]。因此，在線健康社區用戶的不同種類知識共享行為的影響因素，知識的自我效能對一般健康知識和特殊健康知識共享行為均有顯著正向影響[33]。

2 方 法

2.1 數據獲取

我們首先獲取好大夫4 739名信息量較為豐富的醫生網站數據，這些數據包括醫生的基本信息、患者診后評價數據、醫生收到禮物數據、付款醫生文章以及這些文章的評論、點贊和價格等數據。同時，為了研究在線健康社區多模態信息對決策的影響，我們同時收集了每個醫生的非文本信息，包括在線醫生上傳的頭像、發布的語音文章、視頻科普文章等信息，供我們后續分析。

具體使用的數據包括在線醫生基本介紹、診后患者評論、收到的患者禮物、發布的科普文章統計信息、語音視頻文章等數據：

1)在線醫生基本介紹

我們收集了4 739名醫生基本介紹信息。這些公開的關鍵信息包括醫生的職位、服務患者數、是否推薦、推薦熱度、患者滿意度等信息。然后，針對醫生的服務質量，收集了醫生的回復速度、所在醫院級別、圖文問診價格、電話問診價格、是否是專家、態度評價分數、診療評價分數等信息。

2)醫生診后患者評論

為了驗證醫生在線服務質量，我們還收集了每位醫生診后患者評論，共約26萬條患者評論。這些信息包括結構化的數據，如評價渠道、評價類型、對醫生的態度、效果和技能的評價、患者提供的標簽以及非結構化的評論文本等。

3)醫生收到的患者禮物信息

這些信息包括每位醫生獲得的總患者數、收到的總禮物數以及每個禮物的詳情，共3萬多條禮物贈送記錄。

4)醫生發布的文章統計信息

進一步地，我們收集了醫生發布文章的關鍵信息，約10萬篇，包括醫學科普、語音文章、視頻文章等類別的文章信息，文章的關鍵信息包括文章的閱讀量、評論數、評分、是否為付款文章、收聽次數和觀看次數等。

5)醫生發布的語音視頻文章內容

為了進一步研究多模態信息對在線醫療健康社區患者決策的影響，我們還收集了醫生和患者用戶的相關多模態信息，如醫生發布醫學科普文章(占41.08%)、語音文章(占4.31%)、視頻文章(占7.24%)、醫生的頭像(4 739張)、醫生發布的圖文朋友圈(1 007條)等信息，這些非結構化信息在本文研究中進行處理并轉換為能適合數據分析的情感和行為標簽。

2.2 多模態信息處理

基于所收集的數據，我們研究多模態信息融合下的醫生在線行為與患者在線關系。醫生多模態信息的內容包括醫生發表的朋友圈帖子文本、語音文章、視頻文章以及醫生頭像信息。表1匯總了非文本的多模態數據處理后得到的結果示例以及數據處理方法。本文研究思路如圖1所示。其中，我們擬綜合采用回歸分析、關系挖掘以及深度學習等方法來對這些數據挖掘并嘗試解釋其關聯關系。體現患者決策行為的相關指標包括患者對醫生的評分、診后評價、閱讀量、禮物量和付款文章等指標。

表1 非文本的醫生多模態數據處理方法、原始分析結果以及使用的特征提取工具

2.2.1 在線健康社區文本信息與患者決策關系分析

在線健康社區文本信息是在線患者了解并選擇在線醫生服務的主要來源。這些信息不僅包括結構化后的定量評價分數(比如0～5分的評價)，還包括患者生成的定性敘述性文本(比如診后患者評論)、醫生發布的科普文章、醫生在個人朋友圈發布的各類帖子內容。這些數據都包含了海量豐富的信息，如何從這些海量文本提取有效信息，供在線健康社區患者決策，這是一個關鍵的問題。除了結構化的信息，我們對文本的分析主要分兩方面：

1)醫生的文本情感值分析

首先，對在線醫生發布的文章、醫生朋友圈發布的帖子文本信息等進行分析，并從中提取文本中醫生的情感信息，以此作為研究在線醫生的情感與其決策行為關系的研究基礎。

2)患者的文本情感值分析

然后，我們分析患者診后評論的文本數據。每個醫生對應的患者評價情感信息將會被匯總，給出平均情感值。

在以上兩者文本情感值的基礎上，將這兩者的情感值信息與醫生和患者其他信息關聯，供后續進一步分析。

2.2.2 醫生音頻文章情感對患者決策的影響分析

醫生發布的音頻文章包含了醫生情感信息。我們在收集的在線醫生音頻數據基礎上研究這些音頻文章對患者決策的影響分析。首先，我們對每個在線醫生發布的音頻進行情感分析，根據設定的時間間隔(如5秒)對每一個音頻進行拆分，并對每一片段音頻醫生的說話語氣進行情感分析。最終，每一篇語音文章轉換為一個情感標簽序列。每一部分音頻的情感類別可以設置為7個類別和標簽，分別為“生氣(angry，A)”“驚恐(fear，F)”“高興(happy，H)”“中立(neutral，N)”“悲傷(sad，S)”“驚喜(surprise，S)”以及“厭惡(disgust，D)”，每一個類別的情感都被標記為一定的概率，即每一個音頻每一時刻的情感都是由具有不同概率的情感標簽組成的。

圖1 研究思路

為了對每個語音文章獲得一個代表性的指標表示其主要情感，我們對具有時間特征的語音文章情感標記序列進行匯總，分別統計屬于不同情感類別的標簽數，并獲取其所占的比例。得到一個語音文章的總體特征，而其中所占主導的情感將會被作為該語音文章的主要情感。

為了分析每個醫生語音文章的特點，我們為每個擁有語音文章的醫生語音數據進行挖掘，并對多個語音數據進行綜合和匯總。最終，每個醫生都被賦予一個主要情感標簽，與其他數據進行關聯。分析語音文章的情感對患者用戶決策行為的影響可以從語音文章的情感時間序列變化、語音文章的主導情感以及語音文章發布數等關鍵指標與醫生的服務態度、診療效果等患者評價指標進行相關性分析。

2.2.3 醫生視頻文章情感對患者決策的影響分析

我們分析了醫生發布的視頻文章對患者決策的影響分析。首先，我們獲取擁有視頻文章的醫生數據，對每一個視頻進行視頻流分析。這里，我們主要對視頻中醫生的動態形象進行分析，并使用視頻情感抽取工具抽取每隔一段時間的醫生情感特征。這些情感標簽包括“生氣(angry)”“驚恐(fear)”“高興(happy)”“中立(neutral)”“悲傷(sad)”“驚喜(surprise)”以及“厭惡(disgust)”。最終，一個視頻轉換為一個情感標簽時間序列，從而可以獲得醫生視頻文章情感的信息。

由于醫生可能擁有多個視頻，因為對多個視頻文章情感序列的匯聚和融合能更方便我們整體上獲得醫生在科普視頻中的情感特征。基于醫生的科普文章情感標簽數據，我們可以分析醫生視頻多模態信息與其患者決策的關系。首先，考慮到視頻具有時間特征，因為視頻情感時間序列的分析和對比是需要的；在此基礎上，我們獲得視頻主要情感標簽，然后與其他患者評價相關的指標進行相關性分析。

2.2.4 在線醫生形象對患者決策的影響分析

在線醫生形象對患者初始決策行為可能具有重要的影響。比如，患者可能更愿意選擇平臺中醫生頭像看起來更專業的醫生。

首先，獲取在線醫生的頭像，并對醫生頭像形象進行分析，獲得其中的情感特征，主要包括情感類別、顏值評分、微笑評分、臉部質量評分等特征。

然后，將這些在線臉部特征與其他醫生和患者指標進行相關性分析，研究在線醫生形象對患者決策行為的影響。醫生在網站上傳的頭像表情、臉部等特征可以用于研究在線醫生形象與患者決策行為的影響。

2.3 醫生多模態信息融合對患者決策行為的影響

基于好大夫在線網站的醫生與患者多模態信息，我們構建了兩類基于前饋神經網絡(Feed-forward Neural Network，FNN)的在線患者用戶決策行為多模態預測模型，融合包含連續變量和分類變量的多模態數據，檢驗醫生多模態信息對在線患者各類決策行為的預測精度，從而探究在線醫生多模態信息融合對患者決策行為的影響。表2展示了我們采用的訓練數據集示例數據，其中不僅包含連續變量和分類變量，還融合了頭像、音頻、視頻和文本的綜合情感特征。

基于PyTorch深度學習框架，我們在讀取訓練數據集時每次可以獲得連續特征變量(比如文章總數)、分類特征變量(比如醫院級別)以及輸出樣本值(評價分數)。然后，我們建立一個包含兩個隱藏層、針對分類變量的嵌入層以及必要的丟棄(Dropout)層和批標準化(Batch Normalization)層的FNN模型，構建的深度學習模型如圖2所示。

表2 融合多模態數據情感值的醫生患者數據集示例(部分字段)

圖2 基于前饋神經網絡的深度學習模型構建

1)基于醫生在線行為的患者決策行為評價預測模型構建

首先，我們基于圖2的模型建立第一類預測模型，研究體現醫生在線行為的平臺指標與患者相關評價指標的關系。該模型使用的輸入指標包括文章總數、付款文章總數、語音文章總數、視頻文章總數、回復速度、是否專家、醫院級別、頭像情感、音頻情感、視頻情感、圖文問診價格、電話問診價格和文本情感值。而模型輸出指標評價分數、態度評價(%)、效果評價(%)、總禮物數、療效滿意度和總患者數。輸入特征中保護連續變量(如文章總數)和分類變量(頭像情感)。建立深度學習模型對數據集進行訓練和性能評估，匯總對比相關的預測指標。為了使得建立的模型更具有魯棒性，我們引入閾值參數e解決預測值與實際值的差異問題，即若預測值落在e決定的某一個值范圍內，則認為該預測是準確的。比如，若實際值為95而e=5，則當預測值落在[90,100]區間內，認為該預測值是準確的。最終，在模型訓練的過程中，我們通過統計預測準確數來計算模型的性能。

2)基于醫生多模態信息融合的患者決策行為預測模型構建

然后，我們建立第二類預測模型，檢測醫生多模態信息情感融合對患者決策行為的影響。該類模型中，我們采用的輸入特征包括頭像情感、音頻情感、視頻情感以及文本情感值。而待預測特征包括評價分數、態度評價、效果評價、總禮物數、總患者數、文章總數、付款文章總數、語音文章總數以及視頻文章總數，如圖3所示。同樣，我們也采用第一類模型中閾值參數e來控制模型訓練過程中計算模型預測精度不穩定問題。

在以上兩類模型，我們使用的數據集將分為訓練集和測試集。最終，我們通過對比構建的模型在預測不同患者評價指標的精度，來分析這些指標之間可能存在的關聯關系。

3 結果分析

首先，對醫生與患者用戶數據采用Pearson、Spearman以及Kendalltau系數分析不同指標的相關性。在此基礎上，研究醫生多模態信息對患者在線決策行為的影響，利用深度學習方法，挖掘分析潛在的用戶決策行為規律。

3.1 基本指標的相關性

首先，我們對在線醫生行為與患者的Pearson相關性進行探索，得到結果如表3所示。表3(a)顯示了兩個指標之間的Pearson相關性和p值(p≤0.05)，由此可見，圖文問診價格與態度評價、態度滿意度呈現弱負相關性，而與評價分數呈現正相關性。電話問診價格和醫生發布的文章總數也與評價分數呈現正相關性。由此可見，圖文問診價格的提升反而會影響患者用戶的體驗，而通過電話問診價格提升一定程度上會提高評價分數。醫生發布文章數越多，也能一定程度上提升其評價分數。

我們同時分析了在線醫生的行為與其他指標的影響。表3(b)顯示，圖文問診價格、電話問診價格與醫生收到的禮物總數呈現正相關性，同時，高的問診價格也對平均評價、平均文章付款人數有一定的影響。部分醫生發布了需要付費才能查看的文章，而表3(b)的結果顯示了付款文章總數的提升也能提升醫生平均評價分數。針對語音文章，我們也發現提升語音文章總數也能一定程度上帶來患者用戶閱讀量的提升。

醫生自身的職稱以及平臺回復速度也是影響因素。表3(c)顯示了醫生的回復速度和是否是專家對醫生收到總禮物數、服務患者數、價格調整的影響。由此可見，回復速度與服務患者數、總禮物數呈現負相關性，而醫生是否是專家與服務患者數、評價分數、總禮物數、咨詢價格因素呈現正相關性。圖4匯總了醫院級別與其他因素的F值(p≤0.05)，這些關系呈現顯著水平。而醫院級別與圖文問診價格和電話問診價格的相關性比其他因素相關性高。同時，醫院級別對評價分數的影響也是具有較為顯著的差異。

3.2 醫生多模態信息情感對患者決策行為的影響分析

我們分別對好大夫網站中醫生朋友圈帖子、語音文章、視頻文章以及醫生頭像情感類型進行統計。圖5(a)對醫生朋友圈發布的圖文帖子信息情感類型進行分析。由此可見，醫生在朋友圈發布的帖子內容更多得是積極向上的情感或中立的情感。

然后，圖5(b)匯總了醫生發布的語音文章情感類別分布。醫生在語音文章所表現的情感更多體現在驚恐(fear)這一標簽，這可能是因為醫生往往需要講到疾病出現的癥狀和不良反應，因此會體現出擔憂和驚恐的情緒，部分語音文章的情感體現是高興(happy)類別，證明部分語音文章嘗試鼓勵患者，而有極少部分是體現悲傷的情感。而其他類別的情感，如厭惡、中立、驚喜等，沒有體現在語音情感上。圖5(c)描述了醫生發布的視頻文章情感類型分布。由此發現，視頻文章中出現較多的情感類別是悲傷和中立。其次是快樂情感類別的文章。也存在其他情感類別的視頻文章，比如生氣、驚喜和恐懼等。圖5(d)則描述了醫生頭像情感分布情況，大部分醫生頭像呈現中立的情感，也有相當一部分醫生頭像呈現快樂的情感。

同時，我們分別對醫生的語音文章、視頻文章以及頭像的情感類別差異與患者用戶行為相關的指標進行相關性分析，得到F值，并獲得對應的p值。語音相關的F值我們使用p≤0.05篩選語音和視頻文章的F值。計算結果表明，視頻情感類別與患者行為相關指標p都大于0.1，無法拒絕原假設，因此可以認為視頻的情感類別難以區分其他指標。而基于語音文章和頭像計算的F值對比如圖6和圖7所示。首先，將語音文章的主要情感類別與用戶對醫生的評價進行相關性分析(p≤0.05)，獲得不同因素與語音文章主要情感類別的影響程度，如圖6所示。該圖可見，根據F值大小，主要情感類別與對醫生態度評價比其他因素更大。其他可能的影響因素包括療效滿意度、效果評價、平均語音文章閱讀量、平均視頻文章閱讀量等。圖7顯示了用戶頭像情感類型對醫生服務特征的影響。由此可見，頭像的主要情感類型與醫生文章的平均閱讀量和圖文問診價格相比其他因素影響大，其他相關的因素包括電話問診價格、平均視頻文章閱讀量以及醫生的視頻文章總數。

表3 醫生行為、患者評價以及平臺與醫生交互之間的相關性分析(p≤0.05)

3.3 醫生多模態信息融合對在線患者決策行為預測分析

圖8比較了基于在線醫生多模態信息的患者決策行為預測精度。該圖顯示了，在線醫生多模態信息融合能很好預測出總禮物數，達到精度0.95；而對于預測患者評價分數和總患者數分別能達到0.61和0.56。而多模態信息卻難以有效地對患者的態度評價、效果評價和療效滿意度指標進行預測。我們通過分析態度評價、效果評價和療效滿意度的數值分析，發現大部分的評價分數趨向于滿分，這導致了基于多模態信息來預測各類指標的困難，也體現了患者偏向于給醫生一個較好的態度和療效評價分數。總結起來，醫生多模態信息能很好地影響總禮物數和總患者數，而與患者對醫生的態度和治療效果等指標影響非常弱。

圖6 不同語音情感與體現患者行為關鍵指標相關性的F值對比(p≤0.05)

圖7 不同醫生頭像情感與體現患者行為關鍵指標相關性的F值對比(p≤0.10)

為了進一步檢驗醫生多模態信息情感對患者決策行為的影響，圖9匯總了醫生的多模態信息情感預測各關鍵指標的精度。從圖9中我們發現，多模態信息情感能很好地預測總禮物數、付款文章總數和語音文章總數，分別達到0.96、0.84、0.82和0.80的精度。而該模型也能較好地對總患者數、評價分數以及文章總數預測，分別達到0.58、0.55以及0.48精度。類似于圖8的分析結果，對于態度評價和效果評價卻同樣地難以有效進行。由此可以總結，醫生在該平臺發布的各類多模態信息，包括朋友圈帖子、語音文章和視頻文章體現出來的情感與醫生收到的患者總禮物數、醫生自身發布的付款文章總數、語音文章總數和視頻文章總數具有明顯的影響，而與醫生態度評價和效果評價沒有太多直接關系。醫生在多模態信息中體現的情感與醫生自身平臺參與意愿(如更愿意發布視頻文章、語音文章等)密切相關，同樣也能吸引更多的患者，同時也相應地提高其評價分數。

圖9 基于醫生多模態信息情感特征的患者決策行為指標值預測精度對比

4 討 論

本文以好大夫在線網站的醫生多模態數據為基礎，研究醫生多模態信息融合與在線患者決策行為的關系。研究結果發現，醫生發布各類信息(如帖子、語音和視頻)的意愿越強，評價分數越高。而且，醫院級別對患者給醫生的評價分數影響也是具有顯著的差異。針對多模態信息研究發現，醫生在朋友圈發布的帖子內容多數是積極向上的情感或中立的情感，而在語音或視頻文章中體現的情感更多傾向于恐懼或悲傷。大部分的醫生頭像呈現是中立或者高興的情感，這些多模態信息顯著地影響醫生收到患者的禮物數、付費文章數以及服務患者總數。因此，這給了互聯網醫療未來發展的啟示是，應鼓勵醫生通過語音、視頻、朋友圈帖子等非傳統形式分享他們專業知識以及與患者交流，這樣會提高患者用戶對平臺粘性，也提高患者獲取在線付費服務的意愿。

多模態數據的有效利用推動互聯網醫療高質量的發展和轉型。本文所使用的好大夫網站平臺語音和視頻文章數據，更多是提前錄制好的語音和視頻，我們研究發現，有少量的視頻是無效的宣傳視頻。這相比于醫生實時直播的多模態分析具有一定的局限性。隨著信息技術的發展，當前許多醫生嘗試使用直播的方式與患者實時交流以及分享專業知識。直播中多模態數據的分析將進一步推動各類互聯網醫療的決策創新。在這些多模態數據分析中離不開人工智能技術的應用。國務院辦公廳2016年發布的《關于促進和規范健康醫療大數據應用發展的指導意見》[34]提及“推動醫療健康人工智能標準化建設”“規范健康醫療大數據應用標準化建設”等。黨的十九屆五中全會通過的《中共中央關于制定國民經濟和社會發展第十四個五年規劃和二〇三五年遠景目標的建議》[35]提及“全面推進健康中國建設”，要加快壯大新一代信息技術、強化以人工智能、生命科學等前沿領域為代表的國家戰略科技力量建設等建議。由此可見，邁入“十四五”時期，推動多模態數據驅動的智慧醫療人工智能和決策支持技術推廣尤為必要，關乎我國人民的生命健康安全，將是增進民生福祉、實現“健康中國2030”規劃綱要目標的重要舉措。

多模態醫療健康數據分析不再局限于醫院、診所、實驗室、研究機構等地點的數據使用，這些數據也能來自互聯網醫療、移動APP、可穿戴設備等新興健康數據源。據《2020中國互聯網醫療行業研究報告》顯示，中國互聯網醫院月接診患者超過3億人次，月活躍用戶規模超過5 400萬，在線醫療月活用戶峰值超6 000萬，月活用戶同比增長17%。新冠疫情催生了“互聯網+醫療健康”數字經濟新業態和新模式快速發展，也對多模態醫療健康數據的利用產生迫切的需求。元宇宙概念的廣泛關注也推動人們開始思考將沉浸式虛擬現實環境引入醫生與患者交互，多模態數據精準分析若為迫切。本文研究結果表明，語音文章主要情感類別對醫生態度評價影響比其他因素更大。而醫生頭像的主要情感類型與醫生文章的平均閱讀量和圖文問診價格相比其他因素影響大，其他相關的可能因素包括電話問診價格、平均視頻文章閱讀量以及醫生的視頻文章總數。

當前在線健康社區用戶往往接觸各種形式的多模態信息。首先，患者尋找醫生時給患者的第一印象很多時候是醫生的頭像圖片。本文也對醫生頭像情感表現與其患者用戶行為關聯進行研究，發現醫生頭像情感對醫生文章閱讀量以及圖文問診價格的影響較大。患者接觸到在線音頻、視頻等內容，更可能獲得更高健康素養，降低患者用戶慢性病的健康風險。研究結果表明，醫生多模態信息也能較明顯地影響總禮物數和總患者數，而針對醫生的態度和治療效果等評價指標影響非常弱。而在醫生多模態信息中體現的情感與醫生自身平臺參與意愿(如更愿意發布視頻文章、語音文章等)密切相關。醫生參與意愿的上升也能吸引更多的患者，從而進一步提高其評價分數。

在線健康社區中用戶的健康信息素養對如何高效地訪問這些多模態信息影響非常大[36]。Moro C等通過研究發現，慢性疾病人群對最新技術存在較低的使用率。隨著年齡的增長，用戶健康信息甄別能力呈現下降的趨勢，農村老年人和大學生的健康信息素養顯著不一樣[37]。不同年齡的患者決策行為也是存在差異。比如，在線平臺老年用戶對熟練地掌握平臺中視頻、音頻播放和使用有困難，而無法對這些多模態信息進行甄別，這不能僅僅依賴醫生創造內容，還得需要平臺技術支持。唐坤孟等在研究好大夫真實醫生團隊數據后，發現團隊聲譽、團隊規模、團隊回復速度、團隊登錄行為對患者選擇行為具有積極影響，團隊回復速度與患者的醫療團隊選擇之間存在中介效應[38]。楊雪潔等通過分析好大夫網站數據，發現知識的相關性、時效性、原創性與知識源可信度都對用戶知識采納產生影響，疾病的類型調節了相關性、時效性、原創性與知識采納之間的關系[39]。平臺也應將多模態信息以更加合理和高效的方式呈現給患者用戶，而不是單純依賴醫生用戶自身的意愿分享。

本文在研究中遇到了不少的挑戰。首先是，國內互聯網醫療平臺的數據采集、分析和挖掘。從現有在線健康社區獲取海量多模態數據進行挖掘分析是難點。其次，我們使用數據挖掘研究方法定量地研究醫生、患者和平臺之間的相關性問題。不同在線平臺的用戶社交方式不完全一致，各類數據形式各樣，因此如何采用統一方法來定量地研究其中醫生、患者和平臺之間的交互機制需要進一步調研。未來我們將通過文獻調研、問卷調查等形式充分了解在線患者和醫生的信息需求，從而更加準確了解互聯網醫療用戶決策行為產生的機理。

5 結 語

在線健康社區多模態信息形式復雜、處理困難、難以定量等特點阻礙了這些信息的有效利用，也使得平臺難以基于這些多模態數據推動在線患者用戶決策支持。現有研究較少有研究在線健康社區多模態數據與醫生、患者決策行為相關性。本文以好大夫在線網站的醫生帖子、語音、視頻、頭像等非結構化信息為研究對象，深入研究這些多模態信息融合與患者用戶決策行為的關系。其中，充分采用文本挖掘、音頻分析、視頻分析、圖像分析等數據挖掘技術，從非結構化數據中提取有效的特征并嘗試融合分析，應用于在線患者用戶決策行為研究中。研究結果表明，醫療健康服務提供者應鼓勵在線醫生通過語音、視頻、朋友圈帖子等非傳統形式分享專業知識，這樣會增強患者用戶對平臺的粘性，吸引患者獲取服務和付費的意愿，進一步推動可持續的、可信的以及多模態數據驅動的在線健康社區智能決策支持。