智能汽車多傳感器融合技術專利分析

趙向陽，劉豫川

（國家知識產權局專利局專利審查協作四川中心，四川 成都 610054）

智能汽車多傳感器融合技術專利分析

趙向陽，劉豫川

（國家知識產權局專利局專利審查協作四川中心，四川 成都 610054）

在車輛上設置傳感器用以感知車輛周圍環境態勢，從而使得車輛能夠根據感知信息進行自主決策，進而實現自主行駛，這是汽車智能化的重要環節。然而不同類型的傳感器有著各自的長處與短板，若車輛僅依賴單一類型的傳感器，難以保證獲取信息的全面性與可靠性。如何利用融合技術進行車載傳感器信息的融合，從而進行高效、準確的決策，是全球汽車業界關注的問題，對于我國智能汽車產業的發展有著十分重要的現實意義。本文通過專利分析對全球及中國的智能汽車多傳感器信息融合技術專利信息進行提取、分析、整合，總結出其發展路線與趨勢，為各方的相關決策提供參考。

多傳感器融合；智能汽車；專利

1 概述

智能汽車能夠通過車輛上安裝的多種外部環境感知傳感器感知車輛周圍環境態勢，從而分析車輛行駛的安全及危險狀態，并控制車輛按照人的意愿到達目的地，最終實現替代人進行自動駕駛操作的目的[1-8]。然而不同類型的外部環境感知傳感器有著各自不同的特性，在使用中存在各自的優勢和短板。通過多傳感器信息融合技術可以把用于不同目的的多種不同類型的傳感器所檢測得到的信息進行整合，以獲得對被測環境或對象的更加精確的如位置、速度、身份等信息，從而使得車輛能夠對當前環境態勢進行更為全面而及時的評估，進而做出更為精準的決策和控制。

1.1 車載傳感器技術

目前及未來一段時間，應用于車輛上的外部環境感知傳感器以圖像傳感器、雷達傳感器和激光傳感器三大類型為主[9-13]。已經裝備于部分量產車型上各種高級駕駛輔助系統（ADAS，Advanced Driver Assistant System）也以前兩種傳感器為核心組件。

（1）圖像傳感器

雖然圖像傳感器受天氣狀況及外部照明影響很大，并且單個圖像傳感器難以直接獲取檢測對象的深度信息，但是其感知范圍廣、信息容量大、技術成熟、成本低廉。尤其是通過對圖像傳感器獲取的圖像進行處理，可以識別檢測對象身份以及文字、標志等平面信息，這是其它類型傳感器難以實現的。機器視覺技術的發展使得圖像傳感器的探測能力得到進一步強化，如通過雙目圖像傳感器已經能夠獲得物體的深度信息，也使得它成為目前車輛上最受歡迎的傳感器之一。

目前，通過圖像傳感器結合機器視覺技術，車輛能夠實現識別車道線以保持車輛不偏離車道，檢測障礙物和行人以進行制動或規避，識別路牌標志信息如限速、轉向等信息以對駕駛員進行提示等功能。

（2）雷達傳感器

雷達傳感器主要包括超聲波雷達和毫米波雷達傳感器。超聲波雷達傳感器由于探測距離一般僅有1～5米，難以滿足車輛行駛過程中對外部環境的探測需求。因此，目前毫米波雷達傳感器是目前及未來的發展重點。雖然毫米波雷達傳感器存在探測視野角度較窄，且側向精度差，難以檢測正在轉彎或換道的車輛的缺點，但其所具有的遠距離測距能力，使得它能提供車亮前方道路和目標車輛的位置和速度信息，還能夠可靠的提供本車周圍障礙物的深度信息。此外，毫米波雷達傳感器不受外界光照的影響，除大雨外的其它天氣狀況或夜晚對毫米波的傳輸也幾乎無影響，因此可在各種環境下可靠的工作。

目前，毫米波雷達傳感器主要用于探測車輛前方障礙物及車輛和行人，從而實現自適應巡航及緊急制動，防止碰撞事故的發生。

（3）激光傳感器

激光傳感器采用發射激光束并接收目標反射的光束從而跟蹤目標，獲得周圍環境的深度信息。雖然雨霧天氣對干擾激光束的傳播會導致傳感器探測距離縮短和精度降低，但由于激光束指向性好且不受電磁干擾，能夠獲得精度極高的距離及位置信息。但激光傳感器的探測能力與垂直方向不同角度發射的激光線束數量有著密切關系，因此為了獲取更全面的外部環境信息，激光傳感器的線束數量要達到一個較高的標準。但線束數量的增加帶來的是更高的成本、更大的體積、更重的重量，也導致在車輛上的安裝難度增大。

目前多線束激光傳感器僅被裝備在各大公司的試驗車輛上用于實驗目的，量產車型僅有少數采用了低線束激光傳感器用于距離測量。

1.2 多傳感器信息融合技術

雖然上述三類傳感器都用于感知外部環境信息，但由于每種傳感器都有其各自的優缺點，沒有一種傳感器能滿足各種環境狀況及需求（表1）。

若車輛僅依賴某種單一類型的傳感器檢測信息進行決策及車輛控制，難以達到安全可靠的自動駕駛要求。而隨著車輛上安裝的外部環境感知傳感器越來越多時，如何有效利用它們各自探測的環境信息，進行準確性更高的的車輛決策，是學界和業界關注的重點。

從20世紀70年代被提出至今，多傳感器信息融合技術已經經歷了長足的發展。其可以將用于不同目的的多個不同類型的傳感器，或者用于相同目的但設置在不同位置的相同類型傳感器所檢測得到的零散數據信息進行整合，然后利用先進的數據處理技術對檢測得到的數據進行綜合處理。通過數據關聯、相關和組合等方式以獲得對被測環境或對象的更加精確的如位置、速度、身份等信息，從而對當前態勢進行全面而及時的評估，進而做出更為精準的決策和控制。與單傳感器系統相比，運用多傳感器信息融合技術在解決探測、跟蹤和目標識別等問題方面，能增強系統生存能力，提高整個系統的可靠性和魯棒性，增強數據的可信度，并提高精度，增加系統的實時性和信息利用率[14-30]。

表1 三大類傳感器比較及目前應用Tab.1 The comparison of three types of sensors and their current application

2 多傳感器信息融合技術專利分析

2.1 技術分解

通過前期調研、技術研究和專利數據檢索等多方面的反復論證與修改，綜合考慮專利檢索的可行性、行業的分類習慣以及學科上的分類方法，最終確定了對智能汽車多傳感器信息融合技術的技術分解（表2），并對每個技術領域的技術主題進行了進一步的細分。

表2 智能汽車多傳感器信息融合技術分解表Tab.2 The technical decomposition of multi-sensor information fusion technology in intelligent vehicle

2.2 數據采集范圍及相關說明

在專利數據庫中對智能汽車多傳感器信息融合相關技術進行檢索，經過去噪、驗證和去重后得到智能汽車多傳感器信息融合技術全球范圍檢索結果；通過公開號的國別進一步限定，得到在不同區域內的專利申請檢索結果；各個關鍵技術檢索結果直接通過人工標引得到；重點申請人的檢索結果由全球數據通過申請人的限定得到。

數據加工部分經過去噪和標引階段。其中去噪包括統一去噪和單獨去噪。統一去噪是指在全部檢索式中統一去除常見的噪聲，主要包括不同技術領域對檢索結果產生的噪聲。單獨去噪是指對各個二級技術分支進行去噪，主要包括相近和相似技術產生的噪聲。去噪階段與查全和查準階段結合。查全和查準通過重點申請人、時間段等角度進行驗證，并與去噪階段形成反饋和互補。

專利選取范圍以申請日為入口，自1985年1月1日起，截至2016年9月15日，主要是考慮到多傳感器融合技術的發展史較長，希望能夠獲取盡可能全面的專利信息。

2.3 專利申請趨勢分析

基于上述的技術分解，經過檢索和人工篩選得到的相關專利申請數量為：全球數量：3585項，中國數量：1057件。其全球范圍專利申請量趨勢如圖1所示。

從圖中可以看出，在世界范圍內智能汽車多傳感器信息融合技術專利申請總體呈現增長趨勢，大致可分為三個階段：

（1）起步階段期。大約從1987年至2002年。隨著汽車電子化程度的提高以及信息融合技術的提出，各科研機構、汽車零部件廠商和整汽車企業對多傳感器信息融合技術在車輛上應用的潛在價值進行了探索，進行了一定的技術研究，相應的申請量由個位數增至每年60～70件左右。

（2）快速發展期。大約從2003到2007年，隨著智能汽車概念被廣泛普及，以及高級駕駛輔助系統的研發并逐漸應用，科研機構及廠商開始意識到，單一類型傳感器在環境態勢感知上的短板已然成了汽車智能化道路上的阻礙。多傳感器信息融合技術得到更為廣泛的重視，專利申請量也進入了快速發展的階段，每年申請量從兩位數升至120件左右。

（3）高速發展階段。從2008年起，伴隨高級駕駛輔助系統在量產車型上的逐步普及，智能汽車已經實現了美國高速交通管理局（National Highway Traffic Safety Administration，NHTSA）提出的自動駕駛車輛分級模式的1級，并向著2-3級進發。同時，IT公司本著“汽車就是終端”理念的介入，越來越多的傳統汽車廠商以及 IT廠商加大了對智能汽車相關技術的研發力度，使得在該階段內的全球年專利申請量從200件左右躍升至近600件，呈現出高速增長的勢頭。

圖1 智能汽車多傳感器信息融合技術全球專利申請年代分布趨勢Fig.1 The years tendency of the patent applications of the multi-sensor information fusion technology in intelligent vehicle

2.4 區域分析

2.4.1 首次申請國分布

專利申請首次申請國家/地區的申請在一定程度上反映了該國在相關技術上的研發實力，圖2展示了全球主要工業國在智能汽車多傳感器信息融合技術的首次申請分布。

從專利申請的數量來看，智能汽車多傳感器信息融合技術的專利申請原創技術排名前六位的國家或地區依次是日本、中國、美國、德國、韓國、歐洲，且五國的申請量就達到了全部首次申請的88%，專利技術的集中度相當高。其中首次在日本申請的數量最多，占全球申請的38%，共有1367項。這與日本在汽車產業方面深厚的技術積累以及對智能汽車技術領域的重視和大力研發是密不可分的。由日本政府、企業提出的智能汽車領域的不少技術標準已經成為行業內的標準，并且引領全球智能汽車技術的發展方向。但在 2012-2013年，日本的首次專利申請量分別美國和中國所超越。這是因為雖然美國傳統汽車產業受到日韓的沖擊，已經萎縮了不少，但隨著美國國內大量IT企業介入智能汽車領域，美國的首次專利申請量出現了一個激增，總量也達到了552項。而中國作為新興市場國家的代表，汽車產業在近20年間得到了迅猛的發展。隨著“中國制造2025”的提出，智能汽車被提升為國家發展戰略和重點支持產業，各大企業和研發機構加大了相關技術的資金投入和研發力度。作為研發產出成果，傳感器融合的專利申請數量也隨之大幅度上升，申請量占全球申請量的19%，達到了688項。此外，作為工業技術強國、擁有大量零部件廠商和整車廠商德國，在傳感器融合方面的專利申請量也有300項。2.4.2 目標申請國分布

專利申請的目標國/地區反映了申請人對該國市場的重視程度，重要的市場需要輔以良好的專利布局。

圖2 智能汽車多傳感器信息融合技術全球首次專利申請國家/地區分布圖Fig.2 The distribution of countries/areas of initial patent applications of multi-sensor information fusion technology in intelligent vehicle

如圖3智能汽車多傳感器信息融合技術全球主要國家/地區專利申請分布圖所示，申請人在日本的專利申請量達1476項，位居全球第一。這一方面是因為日本國內企業之間的競爭激烈，日本企業在國內的申請量就很大。另一方面則是因為日本汽車廠商在全球仍是重量級的角色，在日本進行專利布局能夠為可能出現的知識產權糾紛打下基礎。美國位居次席，同樣是因為國內研發實力強大，專利產出量大，另一方面被譽為車輪上的國家的美國是全球重要的汽車市場，進行專利布局有助于牽制潛在對手，占據市場。雖然中國國內的相關研發實力一般，但一方面是近年來的國內申請人申請量激增，另一方面作為目前全球最有潛力的消費市場，沒有任何一個大的廠商敢于忽略這一市場的知識產權布局，但這同時也給中國申請人帶來了巨大壓力。如何進行有效的專利布局，保護自己，占領市場，是國內企業今后相當一段時間需要高度重視的工作。

圖3 智能汽車多傳感器信息融合技術全球主要國家/地區專利申請分布圖Fig.3 The distribution of countries/areas of patent applications of multi-sensor information fusion technology in intelligent vehicle

2.4.3 中國區域

圖4展示了中國專利中智能汽車多傳感器信息融合技術的申請趨勢。可以看出，在 1993-2002年間，向中國專利局提交的智能汽車傳感器融合技術專利申請數量非常少。而從2003年開始，申請量逐年增長，到2006年已經接近20件。從2007年起，專利申請量進入快速發展階段，七年間增長了七倍，從30件左右增長到每年250件的水平。這樣的專利申請增長速度一方面體現了國內研發能力的增強，專利產出在增加，另一方面也體現了中國作為目前發展最具活力的汽車制造及消費市場的地位。顯而易見的，隨著智能汽車技術的不斷深入，中國國內的相關專利申請量還會進一步增長。

2.5 中國專利申請來源國分析

分析中國專利申請中專利的來源，可以客觀反應其他國家/地區對中國市場的重視程度以及國內本土在智能汽車傳感器融合技術上的發展程度。如圖5所示，在國內有關智能汽車多傳感器信息融合技術專利的申請中，國內申請人申請量所占比例最高，為66%，其次為日本15%，接下來是美國、德國和韓國。這表明，國內的創新能力在增強，僅就數量而言已經占據了國內相關專利的半壁江山。國外來華申請人中，日本申請人所占比例最大，這與日本在傳感器融合中全球申請量的地位相匹配，也與日本品牌在國內汽車市場的占有率相匹配。隨著日本國內汽車市場的萎縮，日本申請人也逐漸將競爭的主戰場轉移到中國。可以預見，在未來幾年，日本申請人很可能仍將是中國市場申請量最多的國外來華申請人。

圖4 智能汽車多傳感器信息融合技術中國專利申請趨勢Fig.4 The tendency of the patent applications of the multi-sensor information fusion technology in intelligent vehicle in China

2.6 技術類型分布分析

圖6展示了智能汽車多傳感器信息融合技術全球專利中硬件/軟件相關申請的趨勢。

從圖可以看出，硬件融合的申請量遠遠高于軟件融合，在智能汽車多傳感器信息融合技術的專利申請中處于主導地位，這與兩種融合方式的技術特點有關。硬件融合重點在傳感器的位置分布、處理電路等方面，具有實體的結構，專利申請和保護都較為容易。而軟件融合的重點技術在于算法，無論是專利申請還是保護難度都要大于硬件。在實際中，廠商也多以硬件內置軟件搭配銷售的方式實現自己的利益。

圖7對五大主要申請國中智能汽車多傳感器信息融合技術專利硬件/軟件的數量進行了展示。可以看出，日本申請人的專利申請絕大部分是硬件融合方面，軟件融合僅占非常少的比例，而中、美、德、韓在軟件融合方面的申請占據了一定比例。尤其是美國軟件融合相關專利申請量占到了總申請量的約1/3多，相比之下更為均衡。這是因為全球介入汽車產業的IT企業絕大部分都在美國有關。此外美國國內的大學、研究機構對智能汽車及無人駕駛也進行了多年的研究，他們多采用現成的傳感設備，輔以自己開發的軟件系統，因而其產出的專利也多集中在軟件融合領域。

圖5 智能汽車多傳感器信息融合技術中國專利申請來源國分布Fig.5 The countries of applicants of multisensor information fusion technology in intelligent vehicle in China

圖6 智能汽車多傳感器信息融合技術全球專利硬件/軟件相關申請趨勢Fig.6 The tendency of the patent applications of hardware/software of the multi-sensor information fusion technology in intelligent vehicle

圖7 智能汽車多傳感器信息融合技術專利硬件/軟件各國申請分布Fig.7 The distribution of hardware/software in every countries’ patent application of multi-sensor information fusion technology in intelligent vehicle

3 結論

智能汽車多傳感器信息融合技術的全球專利申請總量呈現上升趨勢，且近年來增長迅猛。專利申請主要來源于日、美、中、德、韓五大主要汽車工業國。其中日本的首次申請和國內的專利申請量都位居全球首位，美國國內基本穩定，中國國內專利申請逐漸增加。中美逐漸成為專利申請及布局最被關注的市場。

中國區域內智能汽車專利申請發展趨勢與全球基本一致，國外來華申請與國內申請比例相當。令人感到欣慰的是近年來國內申請增長速度高于國外來華申請的增長速度，表明國內自生研發能力在逐漸增強，這也與我國社會越來越重視知識產權相關。但申請量增長的同時，也應增強專利布局的意識，有目的進行專利申請，從單純的數量增長逐漸轉變到質量提升的道路上去。

[1] 陳力, 胡冬雪. 智慧汽車發展概況與趨勢[J]. 世界科學,2014, (9): 40-42.

[2] 陳慧, 徐建波. 智能汽車技術發展趨勢[J]. 中國集成電路.2014, (11): 64-70.

[3] 吳忠澤. 智能汽車發展的現狀與挑戰[J]. 時代汽車, 2015,(7): 42-45.

[4] 牛祿青. 智能汽車加速[J]. 新經濟導刊, 2015, (7): 8-14.

[5] 工信部: 高度關注智能汽車發展[J]. 裝備制造, 2015, (5):23.

[6] 胡海峰, 史忠科, 徐德文. 智能汽車發展研究[J]. 計算機應用研究, 2004, (6): 20-23.

[7] 高繼東, 顏培碩, 王靜靜. 我國智能車輛技術發展研究[J].時代汽車, 2016, (9): 19-22.

[8] 趙福全, 劉宗巍. 中國發展智能汽車的戰略價值與優劣勢分析[J]. 現代經濟探討, 2016, (4): 49-53.

[9] 高德芝, 段建民, 鄭榜貴, 田炳香. 智能車輛環境感知傳感器的應用現狀[J]. 現代電子技術, 2008, 19: 151-155.

[10] 王瑩, 葉雷. ADAS和V2X技術市場走勢[J]. 電子產品世界,2015, 8: 10-17.

[11] 阮曉東. 智能汽車發展依賴傳感器技術[J]. 新經濟導刊,2016, 8: 28-32.

[12] 王國胤, 陳喬松, 王進. 智能車技術探討[J]. 計算機科學,2012, 5: 1-8.

[13] 王俊. 無人駕駛車輛環境感知系統關鍵技術研究[D]. 中國科學技術大學博士學位論文, 2016.

[14] Dr. Mark Tucker. 駕駛輔助系統(DAS): 多種傳感器數據的融合[J]. 技術與應用, 2011, 6: 28-30.

[15] 宋維堂, 張鸰. 基于智能車輛的多傳感器數據融合算法研究與分析綜述[J]. 現代交通技術, 2012, 3: 82-85.

[16] 姜元清. 多傳感器融合技術在汽車避障中的應用[D]. 長春理工大學碩士學位論文, 2008.

[17] 陳曉偉. 汽車前方車輛識別的雷達和視覺信息融合算法開發[D]. 吉林大學碩士學位論文，2016.

[18] 張延龍，王俊勇. 多傳感器數據融合技術概述[J]. 艦船電子工程, 2013, 2: 41-44.

[19] 劉敏. 多傳感器數據融合算法研究與應用[D]. 南京航空航天大學碩士學位論文, 2011.

[20] 王欣. 多傳感器數據融合問題的研究[D]. 吉林大學博士學位論文, 2006.

[21] 張橋. 多傳感器信息融合技術在智能車輛避障中的應用[D]. 重慶交通大學碩士學位論文，2015.

[22] 龐成. 基于測距雷達和機器視覺數據融合的前方車輛檢測系統[D]. 東南大學碩士學位論文, 2015.

[23] 張煜. 基于多傳感器數據融合的無人車避障導航研究[D].西安工業大學碩士學位論文, 2015.

[24] 閆光. 基于多傳感器信息融合的動態目標檢測與識別[D].北京理工大學碩士學位論文, 2015.

[25] 孔金生, 張西雅, 崔盈慧. 基于聯合卡爾曼濾波的汽車防碰撞多傳感器信息融合方法[J]. 鄭州大學學報(理學版).2011, 3: 99-102.

[26] 楊亞男. 基于信息融合的車輛防碰撞控制算法研究[D].遼寧工業大學碩士學位論文, 2016.

[27] 田寅, 董宏輝, 賈利民, 王蕾云, 李思宇. 用于車輛分類的多傳感器車型特征融合算法[J]. 華南理工大學學報(自然科學版), 2014, 3: 52-58.

[28] 堯玲, 楊煒, 張雯. 基于多源信息融合的汽車主動避障系統[J]. 北京汽車, 2016, 6: 14-17.

[29] 那田. 基于雷達和機器視覺融合的前方車輛障礙物檢測[D]. 合肥工業大學碩士學位論文, 2016.

[30] 嚴思寧. 基于信息融合的智能車輛前方目標識別技術研究[D]. 東南大學碩士學位論文, 2015.

The Patent Analysis of the Multi-Sensor Information Fusion Technology in Intelligent Vehicle

ZHAO Xiang-yang, LIU Yu-chuan
(Patent Examination Cooperation Center of the Patent Office SIPO Chengdu China 610054)

Sensors are set on the vehicle in order to sensing the enviroment around, so that the vehicle can make decisions upon the perceived information, and achieve autonomous driving, which is an important part of the vehicle intellectualization. However, different types of sensors have different characteristics. It is difficult for the vehicle to guarantee the comprehensive and effective information from single type of sensors. The global automotive industry concerns about how to fuse the information from different sensors by multi-sensor information fusion technology in order to achieve efficient and accurate decision. And it also has an important realistic meaning for the intelligent vehicle industry of China. This paper analyses the patents of the multi-sensor information fusion technology in intelligent vehicle in global and China, summarizes the developing route and trend to provide reference for the policy.

: Multi-sensor information fusion; Intelligent vehicle; Patent

TP399

A

10.3969/j.issn.1003-6970.2017.10.032

本文著錄格式：趙向陽，劉豫川. 智能汽車多傳感器融合技術專利分析[J]. 軟件，2017，38（10）：162-168

趙向陽，男，(1976-)，副研究員，主要研究方向：數字信號和信息處理，并從事多年數字圖像數理領域的發明專利審查及分析工作；劉豫川，男，(1981-），助理研究員，主要從事控制領域的發明專利審查及分析工作。