基于多模態數據融合的智能客服決策支持系統研究

摘" 要：傳統智能客服系統情緒識別存在不準確的問題，需要以多模態數據融合技術為基礎進行研究，提高客服系統服務質量水平。研究重點對基于小波變換的信號去噪方法和多模態特征融合技術進行分析，闡述其在情緒識別中的應用效果，并以此為基礎提出特征層與決策層雙層融合的方案。研究結果表明：該方法具有較強的情緒識別能力，平均準確率達89.67%。

關鍵詞：多模態" 數據融合" 智能客服" 決策支持系統

中圖分類號：TN95

Research on Intelligent Customer Service Decision Support System Based on Multi-Modal Data Fusion

TANG Donger

Guangzhou Yunqu Information Technology Co.， Ltd.， Guangzhou， Guangdong Province， 510630 China

Abstract： Traditional intelligent customer service systems suffer from inaccurate emotion recognition， which requires research based on multi-modal data fusion technology to improve the service quality level of customer service systems. The research focuses on analyzing signal denoising methods based on wavelet transform and multi-modal feature fusion techniques， elaborating on their application effects in emotion recognition， and proposing a dual layer fusion scheme of feature layer and decision layer based on this. The research results indicate that this method has strong emotion recognition ability， with an average accuracy of 89.67%.

Key Words： Multi-modal; Data fusion; Intelligent customer service; Decision support system

隨著人工智能技術的快速發展，智能客服系統在各行業得到廣泛應用。然而，現有系統在情緒識別方面仍存在準確度不高、魯棒性差等問題，嚴重影響服務質量，多模態數據融合技術通過整合脈搏信號信息，為提升情緒識別準確性提供了新思路。本研究提出一種基于多模態數據融合的智能客服決策支持系統，通過特征層和決策層的雙重融合策略，實現對用戶情緒狀態的精確識別，為提升智能客服系統服務水平提供理論與技術支撐。

1" " " " " 信號去噪1.1" " " " 過程描述

脈搏信號在采集過程中不可避免地會受到各種噪聲的干擾，包括工頻噪聲、基線漂移、肌電干擾等。為了獲得可靠的脈搏信號分析結果，本研究采用小波變換進行信號去噪處理。小波分析是一種新興的數學分支，它是泛函數、Fourier分析、調和分析、數值分析的最完美的結晶；在應用領域，特別是在信號處理、語音處理以及眾多非線性科學領域，它被認為是繼Fourier分析之后的又一有效的時頻分析方法。首先將原始脈搏信號經過小波分解，得到不同頻段的小波系[A2] 數[1]。小波分解可以表示為：

式（1）中：為原始信號；為小波函數；為尺度函數；和分別為細節系數和近似系數。

本研究選用db4小波作為基小波對信號進行5層分解。對于每一層的小波系數，采用閾值函數進行處理，以去除噪聲成分，處理后的信號通過小波重構得到去噪后的脈搏信號。

1.2 新小波閾值函數" " " " " " 傳統的硬閾值和軟閾值函數在信號去噪過程中存在不連續性和常數偏差等問題。為了克服這些缺陷，本研究提出了一種改進的小波閾值函數：

式（2）中： 為小波系數； 為閾值； 和" 為可調參數。

該函數在" 處連續，且當" 較大時，函數值逐漸趨近于原始系數，有效保持了信號的主要特征。通過調節參數" 和 ，可以靈活控制閾值函數的收縮特性。實驗表明，與傳統閾值函數相比，該改進函數能夠獲得更好的去噪效果，在保持信號細節的同時有效抑制了噪聲。

2" " " " " 情緒識別

2.1" " " " 提取脈搏信號特征" " " " " " 人類情緒變化會在脈搏信號中產生明顯的波動特征，尤其體現在心率波動方面，積極情緒通常會使脈搏增加，而消極情緒則更多地會出現脈搏降低的情況。為了準確捕捉這些情緒相關的脈搏特征，本研究采用時頻域聯合分析方法。在時域上，通過計算不同脈搏信號的統計特征來反映情緒狀態；在頻域上，重點關注與情緒相關的特定頻段，如theta波（[A3] 4～7 Hz）反映注意力水平，alpha波（8～13 Hz）反映放松程度，beta波 （14～30 Hz）反映興奮程度[2]。基本的時域特征計算公式為：

式（3）中：為時域特征值； 為采樣點數； 為第 i 個采樣點的脈搏信號值。

考慮到情緒變化對脈搏信號的影響，引入情感因子，修正后的特征提取公式為：

式（4）中： 為情感加權因子" 為信號均值。

進一步引入頻域分析，結合小波包系數，得到最終的特征表達式：

式（5）中： 和" 分別為時域特征和頻域特征的權重系數； 和" 分別為時域和頻域特征的維度； 為第k個頻帶的能量特征，通過小波包系數的平方和計算得到。" " " " " " 通過時域統計特征和頻域能量特征的結合，同時引入情感因子的加權，實現了對情緒相關脈搏特征的精確提取，為后續情緒識別奠定基礎。2.2" " " " 多模態融合

2.2.1" 特征層融合" " " " " " 特征層融合旨在整合脈搏信號中的互補信息，通過建立模態間的關聯來提升情緒識別的準確性。本研究采用自適應加權的融合策略，根據不同情緒類型動態調整各模態特征的權重，同時考慮模態間的相關性，以捕捉更豐富的情緒表達[3]。基本融合形式為：

式（7）中： 為融合特征； 為模態數量； 為第 i 個模態的權重系數； 為第 i 個模態的特征向量。

引入模態間相關性計算：

式（8）中： 為第 i 個模態和第 j 個模態間的相關性系數。

得到最終的融合特征：

通過自適應權重和模態間相關性分析，增強多模態特征的互補性，提高了特征表示能力。2.2.2" 決策層融合" " " " " " 在情緒識別的最終決策階段，不同模態可能對不同類型的情緒具有不同的識別優勢，例如：脈搏信號對于內在情緒狀態的識別更為敏感。決策層融合通過集成學習方法，綜合考慮各個模態的判別結果，并根據它們在不同情緒類別上的表現動態調整融合權重。這種自適應的決策融合策略能夠充分利用各個模態的優勢，提高系統對復雜情緒狀態的識別能力。首先得到各模態的初始決策概率：

式（9）中： 為第 k 個模態的預測概率分布； 和" 分別為全連接層的權重矩陣和偏置向量； 為第 k 個模態的特征向量。

通過置信度加權，得到最終的融合決策：

式（10）中： 為模態總數； 為第 k 個模態的置信度權重；取值范圍為" 且滿足 ；通過驗證集上的識別性能動態調整。" " " " " " 采用基于置信度的自適應權重融合策略，綜合各模態判別結果，充分利用不同模態在情緒識別中的優勢，提高了系統整體識別準確率。

3" " " " " 系統測試與分析" " " " " " 本研究在標準實驗室環境下進行測試，采用脈搏采集設備采集多模態數據。測試對象為50名年齡在2[A4] 0～35歲之間的健康志愿者，其中包括男性27名，女性23名，平均年齡為26.8歲。實驗過程中，通過標準化的情緒誘發視頻片段和音頻內容來激發受試者的情緒變化，主要包括快樂、悲傷、憤怒、平靜4種基本情緒狀態。每個情緒狀態的誘發時長為3 min，中間設置2 min的平靜期用于情緒恢復。數據采集過程中，脈搏信號采樣率設置為1 000 Hz。為保證數據質量，實驗室溫度保持在（23±2）℃[A5] ，相對濕度控制在45%～55%之間，環境噪聲低于45[A6]" dB。通過對比分析單模態和多模態融合方法的識別效果，可以看出多模態融合方法在各類情緒識別任務中均表現出明顯的優勢[4-5]。

如表1所示，在4種基本情緒狀態的識別中，采用本研究提出的多模態融合方法相比單一模態均取得了顯著提升，特別是在識別較為復雜的情緒狀態（如悲傷和憤怒）時，融合方法的優勢更為明顯。在時間延遲方面，雖然融合方法需要額外的計算開銷，但通過優化算法實現，平均響應時間仍控制在267.8[A7]" ms以內，滿足實時處理需求。值得注意的是，在不同情緒強度下，系統的識別性能也表現出較好的穩定性，標準差保持在0.028以內，說明該方法具有良好的魯棒性。

4" 結語

綜上所述，本研究構建了一套基于多模態數據融合的智能客服決策支持系統，創新性地提出了特征層與決策層雙層融合方案。通過實驗驗證，該系統在情緒識別任務中取得了顯著效果，平均準確率達89.67%，時間延遲控制在267.8 ms以內。研究成果不僅豐富了多模態數據融合理論，也為智能客服系統的實際應用提供了可行方案。

參考文獻

[1]覃浩，劉振華，蘇立偉.基于多模態融合的電力智能客服系統情緒識別方法[J].自動化技術與應用，2024，43（4）：169-172.

[2]馬曉亮，劉英，杜德泉，等.運營商智能客服的關鍵技術和發展趨勢[J].電信科學，2023，39（5）：76-89.

[3]張翼英，馬彩霞，張楠，等.融合情感與語義的多模態對話生成方法[J].天津科技大學學報，2023，38（3）：52-60.

[4]司俊勇，付永華.多模態數據融合的在線學習情感計算研究[J].圖書與情報，2024（3）：69-80.

[5]趙萌，劉琛，鄭皓元.基于大模型的智能問答客服機器人的應用研究[J].科技風，2024（35）：4-6.