基于深度學(xué)習(xí)的情境感知推薦系統(tǒng)研究進(jìn)展①

李其娜, 李廷會(huì)

(廣西師范大學(xué) 電子工程學(xué)院, 桂林 541004)

1 引言

伴隨著新信息技術(shù)時(shí)代的到來(lái), 云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等信息技術(shù)得到了快速發(fā)展,傳統(tǒng)產(chǎn)業(yè)數(shù)字化也要面臨著轉(zhuǎn)型等問(wèn)題.IDC《數(shù)字宇宙》的研究報(bào)告表明, 2020 年全球新建和復(fù)制的信息量是2012 年的12 倍, 將超過(guò)40 ZB.然而, 幾何級(jí)增長(zhǎng)的數(shù)據(jù)量為人們的生活帶來(lái)便利的同時(shí)也附帶了許多的問(wèn)題.商家與客戶的信息需求矛盾, 商家是想要把產(chǎn)品信息提供給盡可能多的客戶, 而客戶難于從這龐大的信息中尋找到對(duì)自己最有用的商品信息.于是推薦系統(tǒng)就應(yīng)運(yùn)而生, 它能根據(jù)用戶的需求、興趣以及隱藏的個(gè)性, 為用戶推薦個(gè)性化的項(xiàng)目信息, 極大方便了用戶對(duì)有用信息的獲取.傳統(tǒng)的推薦系統(tǒng)有基于內(nèi)容推薦、協(xié)同過(guò)濾推薦和混合推薦, 但是它們只是建立在用戶和物品的二者關(guān)系上, 忽略了需要融入如用戶地點(diǎn)、當(dāng)前時(shí)間、天氣及溫度等特定情境信息.如果能把自適應(yīng)的情境信息整合到推薦系統(tǒng)中, 并且考慮用戶、物品、情境三者之間的相關(guān)性, 就能極大地提高推薦系統(tǒng)的匹配效果.近幾年, 深度學(xué)習(xí)技術(shù)取得了重大突破, 已經(jīng)成為人工智能領(lǐng)域研究熱點(diǎn)之一.由于深度學(xué)習(xí)表征學(xué)習(xí)能力較強(qiáng), 因此也實(shí)用于推薦系統(tǒng)領(lǐng)域.國(guó)際計(jì)算機(jī)學(xué)會(huì)(ACM)主辦的推薦系統(tǒng)專場(chǎng)(Recsys)是推薦系統(tǒng)領(lǐng)域的頂級(jí)會(huì)議之一.從2007 年召開(kāi)第一次會(huì)議以來(lái), 每一年都針對(duì)推薦系統(tǒng)領(lǐng)域的研究現(xiàn)狀提出不同的研究熱點(diǎn).2008 年, 會(huì)議開(kāi)始考慮把情境信息融入到推薦系統(tǒng)當(dāng)中, 使得推薦系統(tǒng)能夠根據(jù)當(dāng)時(shí)所在時(shí)間和位置給出更合適宜的推薦, 比如旅行推薦.到了2016 年第一次召開(kāi)了把深度學(xué)習(xí)技術(shù)融入到推薦系統(tǒng)當(dāng)中的專題研討會(huì), 就是在這一年深度學(xué)習(xí)成為推薦系統(tǒng)研究的主流方法.

2 情境感知推薦系統(tǒng)相關(guān)理論研究基礎(chǔ)

2.1 情境與情境感知定義

情境的定義一直在學(xué)術(shù)界眾說(shuō)紛紜, 不同領(lǐng)域都有其自己的說(shuō)法, 至今依然沒(méi)有一個(gè)統(tǒng)一的定論.情境,又稱上下文、情景, 是指任何一切可以用來(lái)描述實(shí)體狀況的信息, 包括位置、時(shí)間、空間、對(duì)象、系統(tǒng)和服務(wù)等.沈旺等學(xué)者認(rèn)為情境是用于表征用戶及其應(yīng)用程序相關(guān)的實(shí)體狀況的所有信息的集合, 包括時(shí)間、物理環(huán)境、系統(tǒng)功能和服務(wù)、人和計(jì)算實(shí)體參與的活動(dòng)和任務(wù)及其相互的關(guān)系等內(nèi)容[1].在前人研究的基礎(chǔ)上, 我們認(rèn)為情境是輔助用戶決策的額外信息.因此可以把情境信息分為兩大類: 環(huán)境情境和用戶情境.環(huán)境情境指的是所有可以被傳感器、智能手機(jī)或可穿戴設(shè)備應(yīng)用軟件感知或者從外部信息服務(wù)獲取的特征,例如地點(diǎn)、時(shí)間和溫度等.用戶情境則表示更抽象的用戶信息如用戶偏好特征、用戶活動(dòng)或者用戶社交環(huán)境等, 這些情境信息變化復(fù)雜, 很難直接去感知和衡量.而且大部分相關(guān)用戶情境信息都受環(huán)境情境的影響.

1994 年Schilit 等提出情境感知這一概念之后, 情境感知技術(shù)便隨之而興起, 推動(dòng)了推薦系統(tǒng)在各個(gè)領(lǐng)域的發(fā)展[2].2004 年萬(wàn)亞紅等認(rèn)為情境感知是指系統(tǒng)利用情境信息, 智能判斷用戶行為及目的并主動(dòng)提供相關(guān)信息或服務(wù), 人性化調(diào)整人與情境交互的方式和內(nèi)容[3].而我們認(rèn)為任何可以用相關(guān)情境信息為用戶提供相對(duì)應(yīng)的產(chǎn)品和信息服務(wù)的都可以稱之為情境感知,讓用戶能在情境信息不斷變化時(shí), 依然能感受貼合實(shí)際的個(gè)性化服務(wù).

2.2 情境信息融合模式

情境感知推薦系統(tǒng)就是在傳統(tǒng)的推薦系統(tǒng)中融入情境信息, 效用函數(shù)由s: U×I→R 變?yōu)閟: U×I×C→R, 其中U 表示所有用戶集合, I 表示所有項(xiàng)目集合, C 表示所有情境集合[4].目前, 情境感知推薦系統(tǒng)的情境信息融合模式有情境預(yù)過(guò)濾, 情境后過(guò)濾和情境建模[5,6].

情境預(yù)過(guò)濾, 指由當(dāng)前情境信息篩選相關(guān)性最強(qiáng)的用戶和項(xiàng)目數(shù)據(jù)信息用于推薦, 讓數(shù)據(jù)信息圈定在特定的情境范圍內(nèi), 即系統(tǒng)只考慮與當(dāng)前情境相關(guān)的數(shù)據(jù).例如, 用戶想在春季去旅行, 則系統(tǒng)只保留用戶春季旅行相關(guān)評(píng)分?jǐn)?shù)據(jù), 然后采用傳統(tǒng)的二維推薦模型來(lái)評(píng)分預(yù)測(cè).目前最流行且有效的情境預(yù)過(guò)濾技術(shù)是情境感知拆分方法[7-9], 分為用戶拆分, 項(xiàng)目拆分, 以及用戶和項(xiàng)目拆分的組合-UI 拆分.針對(duì)不同的情境,分別把用戶或項(xiàng)目拆分成不同的表現(xiàn)形式, 然后轉(zhuǎn)變成二維的評(píng)分矩陣進(jìn)行預(yù)測(cè)推薦.而最佳的情境組合比單一的情境推薦效果更好.

情境后過(guò)濾, 與情境預(yù)過(guò)濾相反, 首先采用傳統(tǒng)的二維推薦技術(shù)進(jìn)行預(yù)測(cè)而不考慮情境信息, 再根據(jù)給定情境信息濾除不相關(guān)的推薦結(jié)果和調(diào)整推薦列表的順序.例如, 用戶想在春季旅行時(shí)去爬山, 那么在推薦列表里只保留與爬山相關(guān)的信息.殷聰?shù)葘W(xué)者提出基于TF-IDF 的情境后過(guò)濾推薦算法用于餐飲業(yè)用戶評(píng)分預(yù)測(cè)上, 緩解信息過(guò)載問(wèn)題并提升推薦效果[10].

情境建模, 不同于前兩種模式, 是把情境信息作為顯式因素融入到二維推薦函數(shù)中, 將用戶、項(xiàng)目和情境信息整體考慮, 生成多維預(yù)測(cè)模型(決策樹(shù)、LDA主題模型等)[11,12].

在以上3 種模式中, 情境預(yù)過(guò)濾和情境后過(guò)濾模式都是對(duì)情境因素單獨(dú)考慮, 有利于采用傳統(tǒng)的二維推薦模型進(jìn)行評(píng)分預(yù)測(cè).但是容易面臨數(shù)據(jù)稀疏問(wèn)題,而且這樣的降維方法只針對(duì)特定部分?jǐn)?shù)據(jù)建立局部模型進(jìn)行推薦, 忽略了全部數(shù)據(jù)的完整性, 影響推薦性能.而情境建模不存在以上問(wèn)題, 但是面對(duì)高維度的數(shù)據(jù)處理, 計(jì)算難度大.深度學(xué)習(xí)的強(qiáng)特征表達(dá)能力和計(jì)算能力, 正好完善了情境建模的方法, 提升推薦效果.

3 深度學(xué)習(xí)在情境感知推薦系統(tǒng)中的應(yīng)用

3.1 深度學(xué)習(xí)理論研究

機(jī)器學(xué)習(xí)技術(shù)在現(xiàn)代社會(huì)的各個(gè)方面表現(xiàn)出了強(qiáng)大的功能, 從Web 搜索到社會(huì)網(wǎng)絡(luò)內(nèi)容過(guò)濾, 再到電子商務(wù)網(wǎng)站上的商品推薦都有涉足.機(jī)器學(xué)習(xí)系統(tǒng)被用來(lái)識(shí)別圖片中的目標(biāo), 將語(yǔ)音轉(zhuǎn)換成文本, 匹配新聞元素, 根據(jù)用戶興趣提供職位或產(chǎn)品, 選擇相關(guān)的搜索結(jié)果[13].然而傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)在處理未加工過(guò)的數(shù)據(jù)時(shí), 體現(xiàn)出來(lái)的能力是有限的.深度學(xué)習(xí)能夠突破傳統(tǒng)機(jī)器學(xué)習(xí)數(shù)據(jù)處理能力的限制, 擁有后者無(wú)可比擬的計(jì)算優(yōu)勢(shì), 能對(duì)數(shù)據(jù)特征進(jìn)行更深層次的表示, 從容應(yīng)對(duì)海量數(shù)據(jù)處理.

深度學(xué)習(xí)就是一種特征學(xué)習(xí)方法, 把原始數(shù)據(jù)通過(guò)一些簡(jiǎn)單的但是非線性的模型轉(zhuǎn)變?yōu)楦邔哟蔚?更加抽象的表達(dá).通過(guò)足夠多的轉(zhuǎn)換的組合, 非常復(fù)雜的函數(shù)也可以被學(xué)習(xí).經(jīng)過(guò)眾多研究人員堅(jiān)持不懈的努力, 應(yīng)用在情境感知推薦系統(tǒng)的深度學(xué)習(xí)模型主要有: 自編碼器(AE)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、多層感知機(jī)(MLP)等.

3.1.1 自編碼器

Rumelhart 等在1986 年首先提出自編碼器(Auto-Encoder, AE)的概念, 并將其用于復(fù)雜高維數(shù)據(jù)的降維處理和特征表達(dá)[14].自編碼器是一種能通過(guò)無(wú)監(jiān)督學(xué)習(xí), 利用編碼和解碼對(duì)輸入數(shù)據(jù)進(jìn)行高效表示的人工神經(jīng)網(wǎng)絡(luò)[15].基本的自編碼器結(jié)構(gòu)如圖1 所示[16], 是由一個(gè)輸入層x、一個(gè)隱層h 和一個(gè)輸出層y 組成的三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 其中輸入層和輸出層擁有相同的結(jié)構(gòu), 目的是利用反向傳播算法使得輸出值等于輸入值.自編碼器在推薦系統(tǒng)中主要通過(guò)學(xué)習(xí)用戶和項(xiàng)目信息的隱表示, 然后基于這種隱表示預(yù)測(cè)用戶對(duì)項(xiàng)目的偏好, 主要應(yīng)用在評(píng)分預(yù)測(cè)、新聞推薦和圖像推薦等場(chǎng)景.

圖1 自編碼器結(jié)構(gòu)示意圖

3.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

Rumelhart 等在1986 年首次提出循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)的概念[14].循環(huán)神經(jīng)網(wǎng)絡(luò)RNN 的結(jié)構(gòu)如圖2 所示[16], 它可以模擬序列數(shù)據(jù).該結(jié)構(gòu)以順序數(shù)據(jù)作為輸入, 并定義了一個(gè)神經(jīng)網(wǎng)絡(luò), 其中權(quán)重在不同的時(shí)間步驟之間共享.因此, RNN可以捕獲過(guò)去的記憶, 并且通過(guò)展開(kāi)RNN 進(jìn)行基于時(shí)間的反向傳播算法(BPTT)的訓(xùn)練.然而, 簡(jiǎn)單的RNN 常常無(wú)法捕獲長(zhǎng)距離的時(shí)間依賴關(guān)系.長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)和門控循環(huán)單元(GRU)是針對(duì)這一問(wèn)題提出的兩種單元[17].RNN 使推薦系統(tǒng)能夠?qū)υu(píng)分?jǐn)?shù)據(jù)中的內(nèi)容序列或時(shí)間動(dòng)態(tài)進(jìn)行建模.

圖2 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

循環(huán)神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)中的應(yīng)用主要能夠建模序列數(shù)據(jù)中不同時(shí)刻數(shù)據(jù)之間的依賴關(guān)系, 獲取用戶和項(xiàng)目的隱表示.目前循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用場(chǎng)景主要包括評(píng)分預(yù)測(cè)、圖像推薦、文本推薦和基于位置社交網(wǎng)絡(luò)中的興趣點(diǎn)推薦等.

3.1.3 多層感知機(jī)

多層感知機(jī)(MLP)是一種非常簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò),其結(jié)構(gòu)如圖3 所示.多層感知機(jī)是一種前向結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò), 映射一組輸入向量到一組輸出向量.MLP 可以被看作是一個(gè)有向圖, 由多個(gè)的節(jié)點(diǎn)層所組成, 每一層都全連接到下一層.除了輸入節(jié)點(diǎn), 每個(gè)節(jié)點(diǎn)都是一個(gè)帶有非線性激活函數(shù)的神經(jīng)元(或稱處理單元), 兩個(gè)相鄰層的神經(jīng)元通過(guò)加權(quán)邊連接.一種稱為反向傳播算法的監(jiān)督學(xué)習(xí)方法(BP 算法)常被用來(lái)訓(xùn)練MLP[17], 即利用隨機(jī)梯度下降等方法可以根據(jù)預(yù)測(cè)輸出和實(shí)際輸出最小化損失函數(shù)來(lái)學(xué)習(xí)MLP 的權(quán)值, 此損失被反復(fù)反向傳播到前一層, 以更新權(quán)重, 直到滿足停止條件.

多層感知機(jī)在推薦系統(tǒng)中的應(yīng)用主要是在梯度下降法的基礎(chǔ)上, 利用反向傳播算法對(duì)用戶、項(xiàng)目和情境數(shù)據(jù)進(jìn)行訓(xùn)練, 學(xué)習(xí)到用戶和項(xiàng)目的隱表示, 進(jìn)而產(chǎn)生推薦列表.目前多層感知機(jī)在推薦系統(tǒng)應(yīng)用場(chǎng)景主要包括廣告點(diǎn)擊率預(yù)測(cè)、視頻推薦、基于位置社交網(wǎng)絡(luò)中的興趣點(diǎn)推薦等.

圖3 多層感知機(jī)結(jié)構(gòu)示意圖

3.2 深度學(xué)習(xí)在情境感知推薦系統(tǒng)中的建模影響

情境感知推薦系統(tǒng)就是把相關(guān)情境信息融入推薦系統(tǒng)中為用戶提供個(gè)性化的產(chǎn)品和服務(wù).然而用傳統(tǒng)的機(jī)器學(xué)習(xí)方法處理多源異構(gòu)的情境數(shù)據(jù)卻較為困難.這時(shí)把深度學(xué)習(xí)應(yīng)用于情境感知推薦系統(tǒng), 是推薦系統(tǒng)發(fā)展的一個(gè)創(chuàng)新性舉動(dòng).基于深度學(xué)習(xí)的情境感知推薦系統(tǒng)的基本的框架如圖4 所示, 由輸入層、模型層和輸出層組成.一般是將用戶、項(xiàng)目和情境相關(guān)數(shù)據(jù)作為輸入, 然后通過(guò)深度學(xué)習(xí)模型學(xué)習(xí)到用戶、項(xiàng)目和情境信息的隱表示, 在此基礎(chǔ)上為用戶產(chǎn)生個(gè)性化推薦[16,18].

圖4 基于深度學(xué)習(xí)的情境感知推薦系統(tǒng)框架

情境建模是基于深度學(xué)習(xí)的情境感知推薦系統(tǒng)的核心內(nèi)容, 主要體現(xiàn)在基于深度學(xué)習(xí)的情境信息表示和基于深度學(xué)習(xí)的情境感知推薦這兩個(gè)方面.

3.2.1 基于深度學(xué)習(xí)的情境信息表示

傳統(tǒng)的情境信息表示方法有張量分解技術(shù)[19,20]、圖模型[21]、本體模型[22]等.但當(dāng)情境數(shù)據(jù)維度過(guò)高時(shí),將會(huì)產(chǎn)生嚴(yán)重的數(shù)據(jù)稀疏問(wèn)題.而這時(shí)通過(guò)深度學(xué)習(xí)技術(shù)對(duì)情境數(shù)據(jù)進(jìn)行有效建模, 并利用降維技術(shù)來(lái)緩解數(shù)據(jù)稀疏問(wèn)題[23], 從而提高推薦系統(tǒng)的性能.

Kim 等提出一種新的情境感知推薦模型—卷積矩陣分解(ConvMF), 將卷積神經(jīng)網(wǎng)絡(luò)集成到概率矩陣分解中[24].ConvMF 通過(guò)捕獲文檔的情境信息, 可有效解決用戶項(xiàng)目評(píng)分?jǐn)?shù)據(jù)稀疏性對(duì)推薦系統(tǒng)的影響, 進(jìn)一步提高評(píng)分預(yù)測(cè)的準(zhǔn)確性.Unger 等提出一種新的基于傳感器的情境數(shù)據(jù)自動(dòng)編碼方法[25].該方法根據(jù)過(guò)去用戶與系統(tǒng)的交互信息, 利用情境數(shù)據(jù)通過(guò)自動(dòng)編碼器訓(xùn)練每個(gè)用戶的偏好, 是處理高維傳感器數(shù)據(jù)時(shí)對(duì)情境模式進(jìn)行建模最有效的方法.Ma 等提出一種門控注意力自動(dòng)編碼模型(GET), 該模型可通過(guò)神經(jīng)門結(jié)構(gòu)學(xué)習(xí)項(xiàng)目的內(nèi)容和二進(jìn)制等級(jí)的融合隱藏表示[26].利用最先進(jìn)的情境感知推薦系統(tǒng)方法將用戶或項(xiàng)目和情境之間的關(guān)系表示為張量, 并模擬上下文和用戶或項(xiàng)目之間復(fù)雜、非線性的交互作用基礎(chǔ)上, Mei 等提出一種新的神經(jīng)網(wǎng)絡(luò)模型—注意力交互網(wǎng)絡(luò)(AIN), 通過(guò)自適應(yīng)捕獲情境和用戶或項(xiàng)目之間的交互來(lái)增強(qiáng)情境感知推薦系統(tǒng)的性能[27].Hu 等在利用異構(gòu)信息網(wǎng)絡(luò)(HIN)進(jìn)行復(fù)雜情境信息建模基礎(chǔ)上, 開(kāi)發(fā)一種新的深度神經(jīng)網(wǎng)絡(luò)[28].該神經(jīng)網(wǎng)絡(luò)具有協(xié)同注意力機(jī)制, 可利用基于豐富元路徑的情境進(jìn)行推薦.該模型可對(duì)用戶、項(xiàng)目和基于元路徑的情境進(jìn)行有效表示, 以實(shí)現(xiàn)強(qiáng)大的交互功能, 增強(qiáng)了模型的可解釋性.

總的來(lái)說(shuō), 利用深度學(xué)習(xí)模型對(duì)情境信息進(jìn)行有效表示可以對(duì)數(shù)據(jù)進(jìn)行降維.一方面.利用自動(dòng)編碼器提取情境數(shù)據(jù)的深層次特征, 將情境信息的隱表示融入到二維評(píng)分矩陣中, 提高推薦系統(tǒng)的性能.另一方面,利用注意力機(jī)制對(duì)用戶、項(xiàng)目和情境數(shù)據(jù)進(jìn)行有效表示, 對(duì)高維多源異構(gòu)數(shù)據(jù)進(jìn)行降維, 有效緩解數(shù)據(jù)稀疏問(wèn)題, 提升推薦效果.但由于深度學(xué)習(xí)模型是利用隱藏層對(duì)情境信息進(jìn)行特征表示, 易導(dǎo)致推薦模型解釋性不足而使其應(yīng)用領(lǐng)域受到限制.

3.2.2 基于深度學(xué)習(xí)的情境感知推薦

傳統(tǒng)的情境感知推薦是在用戶和物品的二維關(guān)系上簡(jiǎn)單整合情境信息, 可提升一定推薦效果.但類似序列推薦這樣復(fù)雜的推薦場(chǎng)景, 在推薦系統(tǒng)中融入情境信息卻有困難.Liu 等提出一種新的情境感知循環(huán)神經(jīng)網(wǎng)絡(luò)(CA-RNN)[29].CA-RNN 將特定的情境輸入矩陣(時(shí)間, 天氣等)替代常數(shù)輸入矩陣, 適應(yīng)性強(qiáng)的情境轉(zhuǎn)換矩陣(時(shí)間間隔長(zhǎng)度)替代常規(guī)的轉(zhuǎn)移矩陣, 這兩種矩陣的改進(jìn)結(jié)合可有效進(jìn)行情境信息的建模.Smirnova 等提出一種新的情境循環(huán)神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)(CRNNs), 通過(guò)將情境嵌入與項(xiàng)目嵌入相結(jié)合來(lái)修改RNN 行為, 并通過(guò)參數(shù)化將隱藏的單元轉(zhuǎn)換為情境信息的函數(shù)進(jìn)行情境序列建模[30], CRNNs 方法優(yōu)于一般的RNNS.信息的爆炸性增長(zhǎng), 使得多行為的場(chǎng)景更復(fù)雜, 循環(huán)神經(jīng)網(wǎng)絡(luò)已不能滿足情境感知推薦的性能要求.Liu 等通過(guò)用特定的轉(zhuǎn)移矩陣來(lái)解決多種類型的行為情境, 而提出循環(huán)對(duì)數(shù)雙線性模型(RLBL), 對(duì)短期情境和長(zhǎng)期情境都能進(jìn)行有效的建模[31].為了解決動(dòng)態(tài)行為預(yù)測(cè)中情境連續(xù)時(shí)間差異問(wèn)題, 在RLBL 模型基礎(chǔ)上, 作者提出了一種基于時(shí)間感知的循環(huán)雙線性模型(TA-RLBL), 用具體時(shí)間的轉(zhuǎn)移矩陣進(jìn)行時(shí)差建模, 這兩種模型提升了多行為情境預(yù)測(cè)的質(zhì)量.此外,Rakkappan 等提出了一種新的基于層疊循環(huán)神經(jīng)網(wǎng)絡(luò)的情境感知序列推薦方法, 對(duì)上下文和時(shí)間間隔的動(dòng)態(tài)特性進(jìn)行有效建模[32].Cui 等提出了一種新的基于層次情境的注意力循環(huán)控制網(wǎng)絡(luò)(HCA-GRU)[33].模型中的隱藏狀態(tài)在一定程度上是長(zhǎng)期依賴和短期興趣的結(jié)合, 通過(guò)基于注意力的情境輸入與隱藏狀態(tài)的融合能更好的建立模型, 為用戶生成個(gè)性化推薦列表.2017 年提出自注意力機(jī)制(self-attention)以來(lái)[34], 成為了神經(jīng)網(wǎng)絡(luò)的研究熱點(diǎn).Huang 等在傳統(tǒng)RNN 整體嵌入和固定編碼的基礎(chǔ)上, 提出了一種新的自注意力情境網(wǎng)絡(luò)[35].該網(wǎng)絡(luò)利用嵌入方式、自注意力機(jī)制和位置編碼來(lái)處理用戶序列行為的異構(gòu)性、多義性和動(dòng)態(tài)情境依賴性, 可以準(zhǔn)確地捕獲用戶的興趣和序列推薦的關(guān)鍵信息, 大大提高推薦性能.

目前來(lái)說(shuō), 基于深度學(xué)習(xí)的情境感知推薦研究主要集中在用戶序列推薦問(wèn)題上.一方面, 傳統(tǒng)的RNN作為一種經(jīng)典的序列建模方法, 在長(zhǎng)短期情境建模上仍有不足.經(jīng)過(guò)一系列改進(jìn)的RNN 模型[36], 在輸入層上通過(guò)轉(zhuǎn)換矩陣對(duì)情境信息進(jìn)行有效建模, 能夠?qū)㈤L(zhǎng)短期情境信息有效融入到推薦系統(tǒng)中.另一方面, 由于注意力模型和人類視覺(jué)的相似性, 利用注意力機(jī)制識(shí)別用戶多序列行為情境有效信息和自注意力機(jī)制建模序列依賴關(guān)系和用戶短期行為, 提升推薦性能.因此,將注意力機(jī)制與RNN 系列改進(jìn)模型相結(jié)合, 不僅對(duì)情境信息進(jìn)行有效建模, 還對(duì)用戶的多序列行為進(jìn)行精確預(yù)測(cè), 為用戶提供個(gè)性化的決策與服務(wù).

3.3 基于深度學(xué)習(xí)的情境感知推薦系統(tǒng)的應(yīng)用領(lǐng)域

將深度學(xué)習(xí)應(yīng)用到情境感知推薦系統(tǒng)中, 能有效緩解數(shù)據(jù)稀疏問(wèn)題, 提高推薦系統(tǒng)的性能, 因而被廣泛應(yīng)用在電子商務(wù)、興趣點(diǎn)(POI)推薦、引文推薦、文檔評(píng)分預(yù)測(cè)和新聞推薦等領(lǐng)域中.相信未來(lái)會(huì)有更多的深度學(xué)習(xí)模型應(yīng)用到情境感知推薦系統(tǒng)的更多應(yīng)用領(lǐng)域.表1 展示了基于深度學(xué)習(xí)的情境感知推薦系統(tǒng)的部分應(yīng)用領(lǐng)域模型及其特點(diǎn).

表1 基于深度學(xué)習(xí)的情境感知推薦系統(tǒng)的部分應(yīng)用領(lǐng)域模型

4 情境感知推薦系統(tǒng)研究的不足與展望

雖然在推薦系統(tǒng)中應(yīng)用深度學(xué)習(xí)技術(shù)已經(jīng)成為當(dāng)前國(guó)內(nèi)外的研究熱點(diǎn), 但真正把深度學(xué)習(xí)技術(shù)與情境感知推薦系統(tǒng)相結(jié)合的研究才剛起步, 下面將探討基于深度學(xué)習(xí)情境感知推薦系統(tǒng)研究的不足與對(duì)未來(lái)的展望.

(1)情境感知推薦系統(tǒng)模型的評(píng)價(jià)

情境感知推薦系統(tǒng)的一般流程如下: 首先通過(guò)傳感器采集有效的數(shù)據(jù), 識(shí)別和選擇對(duì)推薦過(guò)程有利的因素; 充分考慮用戶的情境信息, 以便梳理用戶、項(xiàng)目、情境之間基本的關(guān)系; 然后構(gòu)建各種情境感知推薦模型生成情境推薦列表, 更進(jìn)一步深究用戶偏好、項(xiàng)目和情境之間隱藏的關(guān)系; 最后, 評(píng)價(jià)情境感知推薦系統(tǒng)的性能使得推薦結(jié)果更精確.然而目前推薦系統(tǒng)沒(méi)有一個(gè)統(tǒng)一的評(píng)價(jià)體系用來(lái)評(píng)判推薦系統(tǒng)性能的好壞, 使得無(wú)法用合適的理由向用戶解釋為什么系統(tǒng)產(chǎn)生這樣的推薦是合理的.特別是深度學(xué)習(xí)技術(shù)融入推薦系統(tǒng)當(dāng)中, 使得推薦系統(tǒng)的解釋性更弱.在未來(lái), 應(yīng)重點(diǎn)構(gòu)建一個(gè)統(tǒng)一的推薦系統(tǒng)評(píng)價(jià)體系, 提升情境感知推薦系統(tǒng)模型的解釋性.

(2)知識(shí)圖譜與圖神經(jīng)網(wǎng)絡(luò)在情境感知推薦系統(tǒng)中的應(yīng)用

目前為止, 深度學(xué)習(xí)的不透明性使神經(jīng)網(wǎng)絡(luò)整體看起來(lái)仍然是一個(gè)黑箱.目前大多數(shù)的深度學(xué)習(xí)情境感知推薦系統(tǒng)采用深度學(xué)習(xí)對(duì)用戶、項(xiàng)目和情境信息進(jìn)行特征表示, 而沒(méi)有整體考慮用戶、項(xiàng)目和情境之間的關(guān)系并以一個(gè)可視化的方式展現(xiàn)出來(lái).所以構(gòu)建用戶、項(xiàng)目和情境信息之間的知識(shí)圖譜, 輸入圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特征表示, 將是未來(lái)的一個(gè)研究方向.知識(shí)圖譜是用多關(guān)系圖以可視化的方式展現(xiàn)實(shí)體以及實(shí)體之間關(guān)系的知識(shí)庫(kù), 廣泛應(yīng)用于語(yǔ)義搜索、智能決策和個(gè)性化推薦等領(lǐng)域[50].而圖神經(jīng)網(wǎng)絡(luò)模型的貢獻(xiàn)在于如何去學(xué)習(xí)一個(gè)非結(jié)構(gòu)數(shù)據(jù)并將其表征, 是目前深度學(xué)習(xí)的研究熱點(diǎn)[51].知識(shí)圖譜與圖神經(jīng)網(wǎng)絡(luò)相結(jié)合, 在增強(qiáng)情境感知推薦能力的同時(shí)也提升了模型的可解釋性.目前, 知識(shí)圖譜與圖神經(jīng)網(wǎng)絡(luò)在情境感知推薦系統(tǒng)中的應(yīng)用有新聞推薦和社會(huì)推薦等領(lǐng)域[52,53], 這方面的研究還較少, 未來(lái)還應(yīng)有更深入的研究.

(3)深度學(xué)習(xí)情境感知推薦系統(tǒng)的潛在應(yīng)用模型

深度學(xué)習(xí)有效的融入情境感知推薦系統(tǒng)中, 使得情境感知推薦系統(tǒng)研究受到越來(lái)越多學(xué)者的青睞.除了圖神經(jīng)網(wǎng)絡(luò), 還有生成對(duì)抗網(wǎng)絡(luò)(GAN)也可以用到情境感知推薦系統(tǒng)中.因此面對(duì)不同的推薦場(chǎng)景, 模型所需的情境因素不一樣, 從而無(wú)法構(gòu)建統(tǒng)一的深度學(xué)習(xí)情境感知推薦模型.在未來(lái), 應(yīng)針對(duì)不同的推薦系統(tǒng)應(yīng)用領(lǐng)域, 充分考慮用戶、項(xiàng)目和情境等相關(guān)數(shù)據(jù), 構(gòu)建不同的深度學(xué)習(xí)情境感知推薦系統(tǒng)框架, 從而提高推薦系統(tǒng)的性能.

5 結(jié)語(yǔ)

在選擇眾多的互聯(lián)網(wǎng)上, 需要對(duì)相關(guān)信息進(jìn)行過(guò)濾、排序和高效傳遞, 以緩解信息過(guò)載的問(wèn)題, 這給許多互聯(lián)網(wǎng)用戶帶來(lái)了潛在的問(wèn)題.因此, 推薦系統(tǒng)通過(guò)使用算法搜索大量動(dòng)態(tài)生成的信息來(lái)解決這個(gè)問(wèn)題,為用戶提供個(gè)性化的內(nèi)容和服務(wù).近年來(lái), 這些系統(tǒng)都在使用人工智能領(lǐng)域的機(jī)器學(xué)習(xí)算法.然而, 在推薦系統(tǒng)中選擇合適的機(jī)器學(xué)習(xí)算法是很困難的.但是深度學(xué)習(xí)技術(shù)的發(fā)展, 卻給推薦系統(tǒng)帶來(lái)新的機(jī)遇與挑戰(zhàn),帶動(dòng)推薦系統(tǒng)在各個(gè)領(lǐng)域的發(fā)展.本文通過(guò)從情境感知推薦系統(tǒng)相關(guān)概念入手, 介紹了基于深度學(xué)習(xí)的情境感知推薦系統(tǒng)及其應(yīng)用.深度學(xué)習(xí)在情境感知的推薦系統(tǒng)中的應(yīng)用是目前的研究熱點(diǎn)也是難點(diǎn), 希望未來(lái)更多的研究人員對(duì)此有更多的突破.