基于網絡評論文本挖掘的技術預見方法研究

趙明輝，張玲玲，顧基發

（1.中國農業銀行普惠金融事業部，北京 100005；2.中國科學院大學經濟與管理學院，北京 100190；3.中國科學院大學數字經濟監測預測預警與政策仿真教育部哲學社會科學實驗室（培育），北京 100190；4.中國科學院數學與系統科學研究院，北京 100190）

1 “技術預見”概念和理論

關鍵技術、共性技術、新興技術、交叉技術、顛覆技術等的不斷突破和涌現，給政治、經濟、社會、文化、環境帶來前所未有的深刻變革，當今時代的經濟社會發展比以往任何時代都更加依賴于科學技術創新的能力和效力。國家、區域、組織、企業等均在致力于科學技術的布局與前瞻，研判科技革命潛在方向，遴選科技前沿關鍵領域，創建符合自身實情的科技創新體系，力圖以此獲取未來競爭的主動和優勢地位，技術預見（technology foresight）應運而生。“技術預見”概念由英國學者Ben R.Martin［1］于1995 年首次提出，是對未來中長期內的科學技術發展進行系統性研究，進而甄別出具備最大經濟社會效益的戰略研究領域和關鍵核心技術。中國學者穆榮平等［2］定義技術預見是知識開發和創造的過程，是對遠期技術需求進行動態修正和調整的過程，是利益相關者通過溝通和協商以共同選擇未來的過程。對技術預見的內涵進行抽取和具象，可以發現技術預見的核心便是利用專家群體的經驗智慧，通過對科技創新主題的識別、發現、判斷、評估、排序等一系列操作，篩選出真正具有發展潛力和關鍵共性的科技創新主題。

技術預見活動能否順利實施并取得準確可信的最終結果，在很大程度上取決于方法的選取與使用。從知識管理的角度看，技術預見是在挖掘大量數據信息（顯性知識）和專家經驗（隱性知識）的基礎上，不斷地進行知識的提煉、篩選、發現、創造，進而系統化選擇具有戰略意義的研究領域和通用技術的過程。技術預見方法主要可以分為兩類：一是專家經驗和智慧驅動的、以定性為主的技術預見方法；二是數據和技術驅動的、以定量為主的技術預見方法。德爾菲法具有投入大、周期長、成果較難評估等顯著缺點，作為技術預見核心方法的科學性和有效性受到越來越多的質疑。技術預見的研究模式尚處于不斷發展之中，促進定性與定量研究方法的有效互補融合，尋求新型研究方法以提高研究質量是目前技術預見領域的熱點和重點，因此，在此背景下開展技術預見方法的研究具有一定的理論意義和實踐價值。

隨著科學技術的快速發展，技術預見面對的都是諸如氣候變化、糧食安全、載人航天等復雜科學問題，該類科學問題均是系統性的、動態性的、開放性的、非線性的。個體或小群體對復雜科學問題的認識解釋及知識領域是不夠完備的，僅依靠有限數量的專家已無法有效應對復雜科學問題的挑戰，也無法滿足技術預見當前的實踐需求。而隨著網絡社區的興起和海量評論數據的積累，“數據→信息→知識→智慧→決策”的技術預見過程正發生著深刻的變革［3］；同時，大規模群體合作、自下而上、去中心化、非線性的網絡群體智慧為技術預見帶來嶄新的發展機遇和有效的實踐途徑［4］。

基于網絡評論文本挖掘的技術預見方法能夠結合專家經驗和文本挖掘，從網絡評論數據中發現和提取科技創新主題，為探索人機結合與定性定量結合的系統性技術預見模型提供發展機遇［5］。在開放網絡社區中，用戶群體的發言、回復、轉發、評論、分享、點贊等交互行為會產生大量的網絡評論數據［6］，而技術預見的核心便是利用專家用戶的群體智慧實現科技創新主題的獲取、生成、判別、排序等多種目標。因此，面對蘊含著大量專家用戶群體智慧的網絡評論數據，利用知識管理、情感分析、主題生成、關聯分析、分類聚類、趨勢推理等多種理論和方法相結合，進一步挖掘、匯聚、凝練出科技群體智慧，有助于發現潛在的、多維的、有價值的技術預見決策輔助信息，獲得真正的基礎性、前瞻性、創新性、顛覆性的科技創新主題［7］。

2 典型技術預見方法

在專家經驗和智慧驅動的技術預見的定性方法中，德爾菲法至今仍是傳統技術預見的核心方法［8］。其主要依靠專家的隱性知識，采用多輪多專家問卷的方式進行大規模咨詢調查反饋，通過專家們逐漸趨于一致收斂的意見以實現技術預見［9］。除德爾菲法外，常用的還有技術路線圖、情景分析法、頭腦風暴法、形態分析法、層次分析法等（詳見表1）。該類方法的優點在于能夠充分發揮專家經驗豐富和追求創新的特點，與創新技術的前沿性、交叉性、滲透性、跨界性等特點相適配；但其缺點也較為明顯，主要表現為專家主觀色彩濃厚、專家數量不足、專家研究領域限制以及費用時間等成本較高，導致該類方法正遭受越來越多的質疑。

表1 定性技術預見方法匯總

表1 （續）

數據和技術驅動的技術預見的定量方法，主要從海量數據中提取有價值的信息，構建系統化預見模型。主要包括增長曲線、文獻計量、專利分析、社會網絡分析、數據包絡分析、數據挖掘等方法（詳見表2）。該類方法一般通過對文獻、專利、新聞、報告、社會調研、經濟統計等數據進行分類、聚類、關聯、預測、可視化等操作，從主題識別、現狀評估、差距分析、趨勢預測等方面抽取有益信息以實現技術預見［16］。其優點在于能夠充分考慮文獻專利等客觀數據包含的有價值信息，避免專家主觀判斷影響和知識領域限制；但其缺點也較為明顯，主要表現為過于探索定量方法導致路徑依賴的局限性，過于關注客觀數據而忽略對決策支持的適用性［17］，以及忽略領域知識和專家經驗的重要作用，在預見過程中缺乏人機交互和動態調整。

表2 定量技術預見方法匯總

3 基于網絡評論文本挖掘的技術預見方法

基于對現有方法體系的詳細梳理，全面總結其優缺點，結合網絡評論文本挖掘所得到的網絡群體智慧，及其對技術預見產生的獨特影響和顯著作用，本文提出基于網絡評論文本挖掘的技術預見模型框架（以下簡稱“新型方法”），如圖1 所示。以專家經驗為基礎的傳統技術預見方法，比如德爾菲法、頭腦風暴、專家會議等，首先從多源數據中獲得種子科技主題，然后通過組織會議或者問卷調查的方式，邀請特定數量的領域專家進行詳細討論，在觀點發表和意見接收的多輪交互過程中，專家意見逐漸趨于一致和收斂，最終得到技術預見的結果（詳見圖1 中的虛線部分）；而在新型方法中，從主題討論和知識生成的環節便開始出現分化，種子科技主題與開放網絡社區實現鏈接之后，大規模的專家用戶進入開放網絡社區進行充分討論和交互，所匯聚的網絡群體智慧承載于用戶生成數據當中，經過數據爬取、清洗、存儲等系列操作得到網絡評論數據集，而后利用多種文本挖掘方法對網絡評論中蘊含的隱性知識進行顯性化挖掘，最終得到能夠輔助技術預見決策的有價值信息，并利用專家推薦等方法實現問題求解。

圖1 基于網絡評論文本挖掘的技術預見方法

3.1 關鍵步驟

（1）科技主題獲取：多源數據→種子科技主題。多維度多來源科技數據在近幾年呈現爆炸式增長，與此相對應的數據分析技術也在迅猛發展。在管理經濟及其他社會科學領域中，決策日漸依賴于數據和推理，而不是經驗和直覺。相關領域的專家用戶從不同來源與不同結構的科技數據中，自主或被動地獲取到科技創新主題的初始感官。日常生活中主要的科技信息源主要包括以下幾類：一是電視廣播等；二是報紙期刊等；三是專業的科技文獻和專利；四是專門的科技網絡社區。

（2）科技主題投放：種子科技主題→開放網絡社區。開放網絡社區中科技主題的相關變化是本研究關注的重點。所謂的投放也是網絡社區中專家用戶和科技主題產生鏈接的過程，大體可以分為兩條路徑：一是技術預見研究者將種子科技主題定向地分配投送到匹配的網絡社區，路徑為種子科技主題指向專家用戶；二是技術預見研究者從網絡社區中直接探尋已有的目標科技主題進行交互討論，路徑為專家用戶指向種子科技主題。

（3）科技主題討論。專家用戶在開放網絡社區中結合自身專業知識，針對感興趣的科技主題進行發布、評論、回復、點贊、修改、刪除、查詢、收藏等多種交互行為，產生蘊含豐富網絡群體智慧的交互數據。在網絡交互的過程中，專家用戶將自身經驗智慧等隱性知識外化為文字行為等顯性知識，網絡評論便是此知識轉化過程的良好中間載體，其主要以評論短文本的形式存在，為技術預見決策提供數據支撐。

（4）交互數據獲取：開放網絡社區→用戶生成數據→數據爬取→數據清洗→數據存儲→網絡評論數據集。通過網頁爬蟲等技術可以爬取到多維數據，包括登錄時長、登錄頻次、積分等級等結構化數據，也包括關注好友、瀏覽文章、訂閱收藏等半結構化數據，以及提問回答、搜索詞條、評論回復等非結構化數據，將其結構化存儲并進行相關脫敏操作，以備后續操作中利用文本挖掘等方法探索其隱含的有價值信息。

（5）交互數據挖掘：網絡評論數據集→多種文本挖掘方法→技術預見決策輔助信息。專家用戶在開放網絡社區中對科技主題的討論可以分為兩條路徑：針對科技主題明確的評論數據，可以通過情感分析的方法判斷專家用戶對該主題的傾向性為正還是為負；針對科技主題尚不明確的評論數據，專家用戶在較大范圍內或者漫無邊界地進行交互時，可以通過主題模型的方法凝練生成數據蘊含的特定內容。

（6）權威專家研判識別。自動化和智能化是技術預見的發展方向，但是科技主題具有模糊性、非線性、不確定性，僅依靠目前的文本挖掘等方法尚不足以辨識出真正的前沿領域。從另一個角度講，技術預見結果仍欠缺客觀科學的評估度量標準，仍需要結合領域權威專家的經驗、知識、智慧進行最終的識別、討論、研判和把握。此步驟也充分體現出錢學森［23］倡導的人機結合、以人為主的系統工程思想。

（7）技術預見問題求解：技術預見結果主題→相關領域專家推薦。在以往的技術預見模型構建研究中，大都止步于通過專家研判得到預見結果（科技主題），進而撰寫研究分析報告。本研究擬對預見結果（科技主題）進行問題求解，即通過多專家推薦的方法發現能夠承擔相關科技主題研究的專家和團隊，以形成從發現問題到解決問題的技術預見完整閉環和框架。

3.2 新型方法的特異性和優勢

具體來講，基于網絡評論文本挖掘的技術預見方法具有如下特異性：

一是開放網絡社區是基于互聯網的知識交流與知識創造平臺，知識與知識、用戶與用戶、知識與用戶之間形成廣泛的交互和關聯，為科技主題討論和知識轉化生成提供了良好的環境和場所，大幅度降低傳統專家咨詢討論過程中場所準備、專家邀請、專家討論、資料整理等方面的時間成本和物質成本。

二是開放網絡社區打破時間和空間的限制，多領域、多層次專家用戶的觀點得以集聚和碰撞，參與討論的專家用戶數量遠超德爾菲法和專家會議通常邀請的專家數量，一方面可以減輕少數專家主觀色彩濃厚帶來的影響，另一方面可以降低權威專家或意見領袖的過度影響，專家不會礙于情面而無法自由地發表觀點，最終能夠將大規模、一般化專家用戶呈現的群體智慧融入技術預見決策當中。

三是網絡評論涉及的科技主題廣泛多樣，大幅增加技術預見的領域覆蓋面，甚至擴展至通用領域，也有利于進一步研究科技主題的經濟社會影響。隨著科學研究的復雜性和交叉性不斷增強，少數專家在研究領域的深度和廣度上存在一定失衡，網絡評論可以避免少數專家知識領域帶來的限制。

四是網絡評論是通過多種爬取技術手段得到的存量數據，即專家用戶在特定時段集成于網絡社區中的歷史數據和實時數據，相比于德爾菲法等專家調查數據，可以減少對專家是否及時回復或積極參與等主觀因素的依賴。此外，與網絡評論數據相比，文獻和專利數據存在較大的時滯性，不能及時有效地揭示科技發展和顛覆創新的方向和趨勢。

五是文本挖掘可以深層次挖掘、匯聚、凝練出網絡評論數據隱含的科技群體智慧，有助于獲得真正的基礎性、前瞻性、創新性、顛覆性的科技創新主題。此外，從相關技術本身來講，比如文本分類技術可將選定文本快速自動分類，有利于迅速確定文本涉及的技術領域及研究態勢。文本聚類技術可以突破提前設定的標準分類，通過評論文本的內容相似度進行分析，有利于發現新興技術領域和交叉技術領域。

整體來看，基于網絡評論文本挖掘的技術預見方法具有如下優勢：

（1）定性定量結合。定性預見方法可以充分發揮專家經驗豐富和追求創新的特點，定量預見方法可以充分考慮文獻專利等客觀數據包含的有價值信息，二者的互補融合可以有效提高結果的準確性。新型方法也契合技術預見研究整體的發展趨勢，定性的網絡專家群體智慧與定量的文本挖掘方法相結合，專家用戶對科技創新主題給出定性的經驗知識和假設判斷，再利用文本挖掘方法進行定量分析，最終得到科學合理的技術預見決策輔助信息。

（2）人機結合、以人為主。專家與機器的相互協作補充是技術預見實踐的主要工作方式［23］，雖然借助機器使得數據的獲取及挖掘更加自動化和智能化，但由于科技主題具有模糊性、非線性、不確定性，僅依靠目前的機器方法不足以辨識出真正的前沿領域，仍需要結合領域專家的經驗、知識、智慧進行深度討論和研判。因此在開放網絡社區中，需要各層次的專家用戶針對科技創新主題，依靠邏輯思維、形象思維、創造思維進行充分的科學交互，并特別注重隱性知識的顯性化表征。

（3）閉環螺旋上升。在技術預見的整個模型框架中，知識結構的復雜性和預見過程的漸進性使得專家領域知識和文本挖掘技術需要進行多次交互和反復，專家體系、機器體系、知識體系在多個循環過程中不斷被提煉、細化、融合［24］。作為一個逐漸趨近目標的螺旋上升過程，至少包含以下3 種閉環：定性的專家領域知識—定量的文本挖掘技術—定性的專家領域知識（定性—定量—定性）；專家領域知識—網絡評論交互數據—專家領域知識（知識—數據—知識）；以人為主的知識轉化—以機器為主的知識挖掘—以人為主的知識深層次利用（人—機器—人）［25］。

4 結論

本研究首先對典型的技術預見方法及其優缺點進行梳理，主要可分為專家經驗和智慧驅動的、以定性為主的技術預見方法，以及數據和技術驅動的、以定量為主的技術預見方法；其次，隨著網絡社區的興起和海量評論數據的積累，提出基于網絡評論文本挖掘的技術預見模型框架，及其在定性定量結合、人機結合并以人為主、閉環螺旋上升等方面的特異性和優勢；最后詳細闡述科技主題獲取、科技主題投放、科技主題討論、交互數據獲取、交互數據挖掘、權威專家研判識別、技術預見問題求解等關鍵步驟。