基于專(zhuān)利數(shù)據(jù)的全球深度學(xué)習(xí)技術(shù)創(chuàng)新態(tài)勢(shì)

賽迪智庫(kù)

人工智能的應(yīng)用和落地場(chǎng)景越來(lái)越寬泛，圖像識(shí)別、語(yǔ)音識(shí)別、機(jī)器翻譯、AI 醫(yī)療和自動(dòng)駕駛等領(lǐng)域不斷有新產(chǎn)品落地，深度學(xué)習(xí)技術(shù)則是促進(jìn)這些產(chǎn)品落地的關(guān)鍵。以深度學(xué)習(xí)領(lǐng)域相關(guān)技術(shù)術(shù)語(yǔ)為關(guān)鍵詞進(jìn)行 12 門(mén)語(yǔ)種跨語(yǔ)言檢索，獲取截至 2019 年3 月底的中、美、韓、日、德等 17 個(gè)國(guó)家專(zhuān)利局及 PCT（國(guó)際專(zhuān)利合作協(xié)定）相關(guān)專(zhuān)利信息，形成深度學(xué)習(xí)領(lǐng)域 16335 項(xiàng)專(zhuān)利文本數(shù)據(jù)集。通過(guò)對(duì)該樣本數(shù)據(jù)集進(jìn)行 LDA 主題挖掘，可以分析把握全球深度學(xué)習(xí)技術(shù)的創(chuàng)新態(tài)勢(shì)。

全球深度學(xué)習(xí)技術(shù)創(chuàng)新

態(tài)勢(shì)分析

從新增專(zhuān)利數(shù)量看，目前全球深度學(xué)習(xí)領(lǐng)域技術(shù)創(chuàng)新正處于蓬勃發(fā)展期。2018 年全球深度學(xué)習(xí)領(lǐng)域新增專(zhuān)利 7429 項(xiàng)，是 2017年的 2.34 倍。2018 年 PCT 新增專(zhuān)利 429 項(xiàng)，是 2017 年的 3.67倍。中國(guó)、美國(guó)與韓國(guó)專(zhuān)利局的新增專(zhuān)利數(shù)量位居全球前三，其中，2018 年中國(guó)為 5638 項(xiàng)，美國(guó)為 736 項(xiàng)，韓國(guó)為 315 項(xiàng)。從深度學(xué)習(xí)領(lǐng)域新增專(zhuān)利數(shù)量的變化看，中國(guó)目前是深度學(xué)習(xí)創(chuàng)新全球最活躍的國(guó)家。

從申請(qǐng)主體構(gòu)成看，企業(yè)與科研院所的研發(fā)能力大致相當(dāng)。2018 年，全球以公司為申請(qǐng)主體的深度學(xué)習(xí)技術(shù)專(zhuān)利有 3496 項(xiàng)，以高校科研院所為申請(qǐng)主體的有 3416 項(xiàng)，大致呈現(xiàn)平衡格局。根據(jù)專(zhuān)利數(shù)量排名，2018 年全球排名前五的企業(yè)主要有 IBM、平安科技、三星電子、谷歌和英特爾，分別新增 62、53、52、46和 45 項(xiàng)相關(guān)發(fā)明專(zhuān)利。

我國(guó)全球排名前五的科研院所主要有華南理工大學(xué)、電子科技大學(xué)、天津大學(xué)、浙江工業(yè)大學(xué)和清華大學(xué)，分別新增 140、114、93、79 和 78 項(xiàng)相關(guān)發(fā)明專(zhuān)利。

從算法角度上看，卷積神經(jīng)網(wǎng)絡(luò)算法占比最高，生成式對(duì)抗網(wǎng)絡(luò)算法使用量快速增長(zhǎng)。從深度學(xué)習(xí)算法角度看，卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、生成式對(duì)抗網(wǎng)絡(luò)（GAN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）等成為深度學(xué)習(xí)的熱門(mén)算法，使用頻率逐年增高。2018 年，全球涉及 CNN、RNN、GAN、LSTM 算法專(zhuān)利數(shù)量為 3061、239、38 和 31 項(xiàng)，分別比上年增長(zhǎng) 122.7%、94.3%、533.3%和 416.7%。可見(jiàn)，卷積神經(jīng)網(wǎng)絡(luò)算法占絕大部分比重，生成式對(duì)抗網(wǎng)絡(luò)（GAN）算法增長(zhǎng)勢(shì)頭迅猛。

從技術(shù)應(yīng)用領(lǐng)域看，深度學(xué)習(xí)技術(shù)在機(jī)器視覺(jué)領(lǐng)域的應(yīng)用比重較大，自動(dòng)駕駛領(lǐng)域應(yīng)用創(chuàng)新熱度較高。深度學(xué)習(xí)技術(shù)目前主要應(yīng)用于機(jī)器視覺(jué)、自然語(yǔ)言、自動(dòng)駕駛等領(lǐng)域，其中機(jī)器視覺(jué)創(chuàng)新熱度最高。在機(jī)器視覺(jué)領(lǐng)域，2018 年全球涉及圖像、視頻等機(jī)器視覺(jué)領(lǐng)域的深度學(xué)習(xí)技術(shù)專(zhuān)利分別有 3674 項(xiàng)和 673 項(xiàng)，兩者合計(jì)約占 2018 年全球深度學(xué)習(xí)技術(shù)專(zhuān)利總量的 58.5%。在自然語(yǔ)言領(lǐng)域，2018 年相關(guān)專(zhuān)利技術(shù)有 495 項(xiàng)，比上年增長(zhǎng)約104.5%，充分表明自然語(yǔ)言領(lǐng)域應(yīng)用深度學(xué)習(xí)技術(shù)的創(chuàng)新熱度較高。在自動(dòng)駕駛領(lǐng)域，深度學(xué)習(xí)技術(shù)應(yīng)用創(chuàng)新最熱，2018 年相關(guān)專(zhuān)利技術(shù)有 133 項(xiàng)，比上年增長(zhǎng)約 182.9%。

我國(guó)深度學(xué)習(xí)技術(shù)創(chuàng)新

現(xiàn)狀分析

我國(guó)在深度學(xué)習(xí)技術(shù)應(yīng)用層具有較強(qiáng)的拓展能力，但基礎(chǔ)層深耕不足。我國(guó)創(chuàng)新涉及的應(yīng)用方向較為廣泛，已涉及行人識(shí)別、能耗預(yù)測(cè)、中醫(yī)文本命名實(shí)體識(shí)別，以及眼底圖像的視網(wǎng)膜血管分割等很多不同的領(lǐng)域。例如，百度在線公司把深度學(xué)習(xí)技術(shù)應(yīng)用于語(yǔ)音識(shí)別、圖像生成、人臉圖像識(shí)別、端到端自動(dòng)駕駛系統(tǒng)等領(lǐng)域，商湯科技公司把深度學(xué)習(xí)技術(shù)應(yīng)用于人物識(shí)別、三維人體姿態(tài)預(yù)測(cè)、實(shí)例分割、圖像分割神經(jīng)網(wǎng)絡(luò)、視線追蹤等領(lǐng)域。而美國(guó)在深度學(xué)習(xí)領(lǐng)域的技術(shù)創(chuàng)新大多聚焦于基礎(chǔ)層的效率提升。例如，IBM 公司研發(fā)了一種應(yīng)用于大規(guī)模深度學(xué)習(xí)的多方向縮減技術(shù)，能夠較大限度地減少系統(tǒng)節(jié)點(diǎn)間通信所需的傳輸數(shù)據(jù)量，從而提高計(jì)算效率。整體而言，我國(guó)更偏向于應(yīng)用創(chuàng)新，計(jì)算、存儲(chǔ)與傳輸優(yōu)化方面的專(zhuān)利相對(duì)較少。

我國(guó)深度學(xué)習(xí)專(zhuān)利增長(zhǎng)迅速，但以企業(yè)為主體的創(chuàng)新較少。從增速上看，2016～2018 年，我國(guó)深度學(xué)習(xí)領(lǐng)域的新增專(zhuān)利數(shù)量分別為 701、2487 和 5638 項(xiàng)，平均年增速達(dá)到 183.6%。從構(gòu)成上看，我國(guó)的研發(fā)力量集中于高校科研院所，而美國(guó)主要集中于企業(yè)。2018 年，美國(guó)以企業(yè)為申請(qǐng)主體的新增專(zhuān)利數(shù)占到其總量的 81.5%，而中國(guó)以企業(yè)為申請(qǐng)主體的比重僅為 40.8%。

我國(guó)使用深度學(xué)習(xí)技術(shù)的企業(yè)高度聚集于廣東省、北京市等地，區(qū)域分化趨勢(shì)加大。從空間分布格局看，京津冀地區(qū)和珠三角地區(qū)創(chuàng)新活躍度最為顯著。2018 年，我國(guó)深度學(xué)習(xí)領(lǐng)域技術(shù)創(chuàng)新最活躍的前 30 家企業(yè)（按新增專(zhuān)利數(shù)排序），分布在北京市、廣東省的數(shù)量占比分別為 46.7%和 20%。從空間分布變化看，對(duì)比 2017 年和 2018 年最活躍的前 30 家企業(yè)分布格局，廣東省從 4家上升至 6 家，北京市從 13 家上升至 14 家，上海市從 4 家下降至 0 家。可見(jiàn)，廣東省、北京市在人工智能（深度學(xué)習(xí)技術(shù)領(lǐng)域）領(lǐng)域的活躍度在上升，而上海等地的活躍度有所下降。

深度學(xué)習(xí)技術(shù)創(chuàng)新要素

打造平臺(tái)，統(tǒng)籌協(xié)調(diào)促進(jìn)研發(fā)資源聚合。美國(guó)近 81.5%的人工智能（深度學(xué)習(xí)方向）研發(fā)創(chuàng)新力量集中于企業(yè)，有很強(qiáng)的商業(yè)目標(biāo)性。我國(guó)研發(fā)主力則大多集中在科研院所，且研究力量比較分散，研發(fā)方向不夠聚焦（多數(shù)是技術(shù)在某些新領(lǐng)域的應(yīng)用），研發(fā)經(jīng)費(fèi)碎片化，難以聚集力量解決重點(diǎn)問(wèn)題。建議借鑒美國(guó)成立國(guó)防高級(jí)研究計(jì)劃局、Google X 實(shí)驗(yàn)室、Facebook 人工智能研究院的經(jīng)驗(yàn)，成立我國(guó)的人工智能?chē)?guó)家實(shí)驗(yàn)室和人工智能產(chǎn)學(xué)研協(xié)同創(chuàng)新中心，打通政、產(chǎn)、學(xué)、研、用各環(huán)節(jié)，促進(jìn)研發(fā)資源的聚合，聚焦難點(diǎn)環(huán)節(jié)展開(kāi)重點(diǎn)攻關(guān)。

加強(qiáng)引導(dǎo)，推動(dòng)計(jì)算、存儲(chǔ)、傳輸?shù)裙残约夹g(shù)發(fā)展。不管人工智能應(yīng)用如何拓展，其數(shù)據(jù)存儲(chǔ)、信息傳輸、高性能計(jì)算等共性技術(shù)還是相通的。美國(guó)很多企業(yè)已經(jīng)認(rèn)識(shí)到這一點(diǎn)，谷歌、IBM、英特爾、英偉達(dá)等企業(yè)，大都圍繞計(jì)算效率、數(shù)據(jù)傳輸?shù)热斯ぶ悄艿幕A(chǔ)層進(jìn)行專(zhuān)利布局，而把應(yīng)用創(chuàng)新交給了研發(fā)社區(qū)。這種做法既抓住了人工智能產(chǎn)業(yè)的關(guān)鍵核心，又能夠確保創(chuàng)新活躍度。從我國(guó)的專(zhuān)利布局看，目前還主要集中于深度學(xué)習(xí)技術(shù)應(yīng)用層，只有通過(guò)引導(dǎo)資源投入通用與共性技術(shù)領(lǐng)域，才能使我國(guó)人工智能產(chǎn)業(yè)走出“專(zhuān)利成果數(shù)量多但關(guān)鍵技術(shù)少”的怪圈。

構(gòu)建產(chǎn)業(yè)生態(tài)，加強(qiáng)人工智能新基礎(chǔ)設(shè)施建設(shè)，輻射更多應(yīng)用領(lǐng)域。從谷歌公司的專(zhuān)利創(chuàng)新看，一些是圍繞 TPU 云服務(wù)方向布局。其近期開(kāi)源的 Tensorflow 框架、云化 TPU 計(jì)算資源，就降低了深度學(xué)習(xí)模型部署難度，大大促進(jìn)了人工智能的大眾化與普及。不管未來(lái)應(yīng)用如何變化，計(jì)算和存儲(chǔ)都是核心領(lǐng)域，只有掌握這些領(lǐng)域，才能成為智能時(shí)代的基石。目前我國(guó)人工智能產(chǎn)業(yè)生態(tài)尚不完善，特別是基礎(chǔ)硬件（芯片）領(lǐng)域。

在未來(lái)，一方面要加快補(bǔ)齊基礎(chǔ)層軟硬件短板，圍繞一些特定應(yīng)用場(chǎng)景（如智能手機(jī)、無(wú)人機(jī)、智能駕駛等），從硬件實(shí)現(xiàn)角度顛覆性地突破類(lèi)腦神經(jīng)芯片，如深度卷積神經(jīng)網(wǎng)絡(luò)芯片等。另一方面，要加快建設(shè)人工智能新基礎(chǔ)設(shè)施，發(fā)展高性能、高安全的異構(gòu)計(jì)算服務(wù)集群及邊緣計(jì)算，通過(guò)開(kāi)源深度學(xué)習(xí)框架、云化計(jì)算資源等，促進(jìn)人工智能普及，輻射更廣更深的應(yīng)用領(lǐng)域。