谷歌人工智能算法Dropout 申請專利

鄭子亨

2019年6月26日，谷歌對Dropout算法提出的專利申請正式生效，專利有效期為15年，2034年9月3日到期。Dropout算法最早由Hinton于2012年提出，是一種在深度學習、訓練神經網絡時被普遍使用的算法，可以有效解決過擬合現象，由于Dropout是人工智能最底層算法，使用范圍十分廣泛，此次專利申請在人工智能領域引起軒然大波。

背景

Dropout算法可以有效解決深度學習中的過擬合問題。Dropout最早于2012年被圖靈獎獲得者Hinton提出，由Alex首次用于卷積網絡的圖像分類。由于神經網絡擬合能力過強，在實際的訓練情況中極易出現“過擬合”，“過擬合”情況一旦出現會導致訓練完成后的神經網絡模型無法用于訓練集之外的其他數據。

Dropout算法的作用便是在神經網絡訓練過程中以一定概率丟棄部分神經元來防止“過擬合”現象，在深度學習領域中的應用極為普遍，現在主流的卷積、循環神經網絡訓練都會用Dropout技術作為正則化器。基于Dropout的廣泛應用，Dropout的變形例如Targeted Dropout、 Sample Dropout等陸續被開發問世。

深度學習基礎算法類專利鳳毛麟角。從全球范圍看，深度學習專利集中在產業下游。2018年全球深度學習領域新增專利數量為7429項，雖然專利數量呈現爆發式增長，但從分布情況來看主要集中在產業中下游，即對深度學習神經網絡的使用及人工智能應用模式的創新。目前，計算機視覺創新熱度最高，2018年相關專利數量超過4000個，占比超過全部專利數量的一半;另外，從專利數量來看，2016年至2018年谷歌總共發布專利數量為1659項，在全球企業排名中僅次于IBM和微軟，位列第三位，其中以發明專利居多。谷歌善于通過基礎算法進行生態構建，持續地注重基礎算法專利的儲備和布局，在此次對Dropout申請專利之前，谷歌已經多次對基礎算法進行專利申請，如自然語言處理中的Word2vec和視頻壓縮中的ANS等。

近年來，谷歌在深度學習基礎算法領域專利布局進一步深化，其專利申請相較之前呈明顯增加的趨勢，并在2013年呈現爆發式增長，其布局重點領域為自動駕駛汽車基礎技術，如環境感知、操作控制等。谷歌在基礎領域的專利布局使其得以牢牢把控產業上游“閘口”。

案例介紹

事件描述。2016年8月2日，谷歌對Dropout算法提出了專利申請，該項專利于2019年6月26日正式生效，專利有效期為15年，2034年9月3日到期。在專利申請的文檔主體中，谷歌提供了神經網絡的結構圖和訓練流程圖，并介紹了專利申請的背景，對專利進行了簡要概括，提供了專利分類，并描述了專利的實施原理。谷歌在Dropout專利申請成功后還沒有后續動作，該專利目前仍然處于免費狀態，但是谷歌對于業界的討論并沒有給出正面回應，深度學習開發者、AI初創企業和AI科研機構等都仍舊面臨谷歌對于Dropout算法進行收費或者限制的風險。

后續發展。業界對谷歌申請Dropout專利主要存在兩種意見。樂觀者認為此次不是谷歌第一次進行基礎算法的專利申請，并且谷歌沒有對算法進行限制或者收費的先例，此次谷歌針對Dropout申請專利有較大概率是為了防止在進行技術開發中被其他公司起訴，是一種自我保護行為，谷歌不會對Dropout使用者進行限制。悲觀者認為谷歌對深度學習底層算法進行專利申請，握住了整個深度學習領域的命脈，所有Dropout算法使用者都面臨“卡脖子”的風險。

簡評

我國深度學習領域以企業為主體的專利數量占比較低。近幾年，我國深度學習專利增長迅速，但是以企業為主體的專利數量較少，企業創新主體的地位沒有得到充分體現。從總體構成上看，我國深度學習領域的研發力量集中于科研院所，而美國主要集中于企業。2018 年，美國以企業為申請主體的新增專利數占到其專利總申請數量的 81.5%，而我國此項比重僅為 40.8%。科研院所在深度學習領域研發創新中戲份較重體現出一定弊端，一是各個院所之間相對獨立，并且科研院所研發經費相較大型企業略顯窘困，導致研究力量比較分散，研發方向不夠聚焦，難以真正解決基礎領域重點難點問題。二是科研院所與產業、市場的應用需求銜接不足，研發創新成果難以實現真正的應用落地，研發到應用之間存在斷層。

我國應當高度關注人工智能基礎算法專利布局。我國人工智能代表企業如百度、商湯、科大訊飛等，聚焦語音識別、圖像識別、端到端自動駕駛系統、圖像分割神經網絡、視線追蹤等領域開發應用產品，但是與美國科技巨頭如 IBM、谷歌、微軟等相比，我國在人工智能基礎算法布局處于空白，在未來發展中略顯乏力。此次谷歌對 Dropout 技術申請專利應當引起行業管理部門重視，鼓勵企業在新興領域原始創新上加大資金、人才等投入力度，在底層架構、基礎理論等方面勇于做先行者和開拓者。同時相關企業應當增強知識產權意識，通過專利布局對未來新興領域的產業生態構建進行超前謀劃，積極在基礎算法領域進行專利布局，打好行業發展根基。