讓機(jī)器人“聽懂”與“看懂”世界
——記北京大學(xué)深圳研究生院信息工程學(xué)院教授鄒月嫻

2021-01-15 08:04:06王輝

科學(xué)中國(guó)人 2020年23期

王輝

鄒月嫻工作照

清晨7點(diǎn)半，相較于喧囂繁忙的深圳鬧市，坐落在深圳南山區(qū)大沙河旁的南燕校園靜謐而美麗，珍惜時(shí)間而躲避早高峰的教授們已經(jīng)開始了一天的工作，鄒月嫻就是他們中間的一位。打開電腦快速瀏覽半小時(shí)的科技新聞是鄒月嫻早年留學(xué)養(yǎng)成的習(xí)慣和每日必做的功課。她認(rèn)為了解世界科技發(fā)展和技術(shù)應(yīng)用現(xiàn)狀，對(duì)于科研人員是非常必要且重要的工作，并且能夠從中獲取新科技信息以觸發(fā)大腦風(fēng)暴，產(chǎn)生新的思考。

自2006年以來，人工智能（AI）進(jìn)入第三次快速發(fā)展歷史階段，基于大數(shù)據(jù)的深度學(xué)習(xí)方法獲得了技術(shù)突破和產(chǎn)業(yè)應(yīng)用。此間，我國(guó)抓住歷史機(jī)遇，加大了科技投入，在AI技術(shù)和應(yīng)用領(lǐng)域取得了全球矚目的成果。鄒月嫻巾幗不讓須眉，一直在深度思考和積極實(shí)踐如何開展AI關(guān)鍵核心技術(shù)的研發(fā)和AI人才培養(yǎng)。她帶領(lǐng)的研究團(tuán)隊(duì)致力于面向服務(wù)機(jī)器人視聽覺感知和認(rèn)知相關(guān)前沿技術(shù)研究，獲得了一系列優(yōu)秀的科研成果并獲得成果轉(zhuǎn)化，成為我國(guó)人工智能領(lǐng)域科技發(fā)展的弄潮兒。

巾幗不讓須眉

鄒月嫻出生于四川成都，是家里的長(zhǎng)女。有著悠久歷史和燦爛文化的古都人文和教師家庭氛圍培育了她樂觀豁達(dá)、熱愛生活、熱愛中國(guó)傳統(tǒng)文化和知書達(dá)理的個(gè)性。生活物資的匱乏培養(yǎng)了她勤儉節(jié)約的生活態(tài)度，長(zhǎng)女的責(zé)任和學(xué)習(xí)壓力鍛煉了她提升工作效率和敏銳處事的能力。在嚴(yán)父慈母的培養(yǎng)下，鄒月嫻全面發(fā)展，自小就是班級(jí)的三好學(xué)生，養(yǎng)成了良好的學(xué)習(xí)習(xí)慣和心智堅(jiān)毅的個(gè)性。

生活軌跡的轉(zhuǎn)折是不經(jīng)意的，11歲那年，尚且年幼的鄒月嫻隨父母前往我國(guó)著名的火箭發(fā)射基地西昌支邊。在西昌，她真真切切地感受到科技帶來的震撼和向往。站在蒼茫的野外，她翹首凝視火箭升空、加速、伴隨著火焰沖向蒼穹，感受腳底大地由于火箭騰空帶來的劇烈震動(dòng)，不知不覺中，“高科技”這個(gè)詞在鄒月嫻心中生根發(fā)芽。

人生有幸，鄒月嫻順利考入了重點(diǎn)大學(xué)成都電訊工程學(xué)院（即現(xiàn)電子科技大學(xué)）電子工程系，開啟了追求科技之路。在她研究生學(xué)習(xí)期間，正逢人工智能第二次浪潮，鄒月嫻也有幸參加了由其碩士生導(dǎo)師主持的“七五”計(jì)劃科技預(yù)研項(xiàng)目“用神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)對(duì)抗信號(hào)分類識(shí)別”，正式進(jìn)入了人工智能研究領(lǐng)域。隨后她遠(yuǎn)赴香港大學(xué)攻讀博士學(xué)位，后又前往新加坡理工學(xué)院從事人工智能領(lǐng)域的科研教學(xué)工作。一直以來，新加坡是亞洲經(jīng)濟(jì)最發(fā)達(dá)的國(guó)家之一，在多個(gè)信息技術(shù)領(lǐng)域獨(dú)步發(fā)展。在先進(jìn)的工作環(huán)境中，鄒月嫻開始用敏銳的目光審視追蹤世界人工智能的發(fā)展趨勢(shì)。

受益于互聯(lián)網(wǎng)技術(shù)的發(fā)展，在全球金融風(fēng)暴動(dòng)蕩時(shí)期，21世紀(jì)的中國(guó)強(qiáng)勢(shì)崛起。鄒月嫻敏銳地意識(shí)到祖國(guó)在科技教育和人工智能領(lǐng)域?qū)Ω叨巳瞬诺膹?qiáng)烈需要。于是她當(dāng)機(jī)立斷，放棄了新加坡穩(wěn)定的工作和舒適的生活環(huán)境，全身心回國(guó)參與祖國(guó)建設(shè)。“做決定的時(shí)候我突然理解了1949年大批華人科學(xué)家從美國(guó)、歐洲回國(guó)投身建設(shè)的心情，產(chǎn)生了義無反顧的堅(jiān)定信念，回祖國(guó)參與建設(shè)！”如今再次談及當(dāng)年的決定，鄒月嫻的眼圈依舊有些泛紅。

2005年12月，鄒月嫻正式加入了北京大學(xué)深圳研究生院（PKUSZ），她說是北京大學(xué)兼容并包與追求卓越的文化氣質(zhì)，以及深圳特區(qū)蓬勃向上、改革創(chuàng)新的精神深深吸引了她。當(dāng)時(shí)的PKUSZ剛剛起步，異地辦學(xué)困難重重，如何服務(wù)國(guó)家戰(zhàn)略需求與滿足深圳特區(qū)經(jīng)濟(jì)快速發(fā)展需求、保證學(xué)生培養(yǎng)質(zhì)量都是擺在北大人面前的新課題。在北京大學(xué)和深圳市領(lǐng)導(dǎo)的支持下，PKUSZ提出了“前沿領(lǐng)域、交叉學(xué)科、應(yīng)用學(xué)術(shù)、國(guó)際標(biāo)準(zhǔn)”的辦學(xué)方針，對(duì)此鄒月嫻非常認(rèn)可和支持。她投入了極大的熱情參與PKUSZ學(xué)科建設(shè)和發(fā)展。隨著信息技術(shù)的快速發(fā)展，2010年，鄒月嫻參與了北京大學(xué)在深圳研究生院開設(shè)“計(jì)算機(jī)應(yīng)用技術(shù)”專業(yè)理學(xué)碩士和博士研究生培養(yǎng)方案的建設(shè)。在調(diào)研相關(guān)課程設(shè)置與國(guó)際前沿研究的過程中，鄒月嫻再次敏銳地認(rèn)識(shí)到“機(jī)器學(xué)習(xí)與模式識(shí)別”與人工智能的發(fā)展緊密相隨，她果斷地帶領(lǐng)團(tuán)隊(duì)開展了基于深度學(xué)習(xí)的機(jī)器視覺和機(jī)器聽覺新理論與新方法研究，為促進(jìn)我國(guó)AI技術(shù)的發(fā)展做出貢獻(xiàn)。

十年深耕，鄒月嫻的研究團(tuán)隊(duì)形成了穩(wěn)定的研究方向，一系列研究成果受到華為、騰訊、中興通訊、大疆科技、小米等高新技術(shù)企業(yè)的關(guān)注，部分成果轉(zhuǎn)化，部分研究成果處于世界領(lǐng)先地位。

讓機(jī)器人“聽懂世界”

在業(yè)界人看來，鄒月嫻是一個(gè)研究目標(biāo)非常明確的學(xué)術(shù)帶頭人。為了掌握人工智能發(fā)展的前沿動(dòng)態(tài)，她十年如一日，始終緊跟國(guó)際最新先進(jìn)理論與技術(shù)，不斷思考技術(shù)創(chuàng)新與突破。

毫無疑問，讓機(jī)器人“聽懂”世界，迄今依然是一個(gè)尚未解決的世界性科技難題。第一步，鄒月嫻主持并開展了國(guó)家自然科學(xué)基金項(xiàng)目“基于聲學(xué)矢量傳感器陣列和稀疏表示的語音聲源方位角估計(jì)方法研究”。“十年前，自然場(chǎng)景下的機(jī)器聽覺大都基于麥克風(fēng)陣列，其體積大，成本高，算法復(fù)雜，不適合服務(wù)機(jī)器人、家庭自動(dòng)控制系統(tǒng)等的應(yīng)用需求，我們團(tuán)隊(duì)首次設(shè)計(jì)了超小尺寸的麥克風(fēng)陣列——聲學(xué)矢量傳感器，提出了基于稀疏表示、機(jī)器學(xué)習(xí)理論的多個(gè)DOA算法。目前這個(gè)技術(shù)已經(jīng)實(shí)現(xiàn)了成果轉(zhuǎn)化。”當(dāng)談及機(jī)器聽覺技術(shù)領(lǐng)域的工作時(shí)，鄒月嫻的興致明顯高了很多。

完成了第一步的工作，鄒月嫻團(tuán)隊(duì)繼續(xù)前進(jìn)，開始研究人工智能領(lǐng)域中的另一個(gè)技術(shù)難點(diǎn)，讓機(jī)器在嘈雜環(huán)境中“聽清”聲音，即語音增強(qiáng)和語音分離技術(shù)。基于對(duì)空間濾波理論和深度學(xué)習(xí)理論的深刻認(rèn)識(shí)，鄒月嫻團(tuán)隊(duì)創(chuàng)新開展基于注意力機(jī)制的空域特征學(xué)習(xí)和多通道語音分離深度模型研究，并在此基礎(chǔ)上進(jìn)一步開展了基于多模態(tài)場(chǎng)景內(nèi)容聯(lián)合表征學(xué)習(xí)的目標(biāo)語音分離模型研究，形成了一系列有影響力的研究成果，如發(fā)表了一篇語音領(lǐng)域旗艦期刊（JCR Q1）封面論文，獲得了國(guó)際同行的一致好評(píng)和引用。

有研究表明，在未來3～5年，遠(yuǎn)場(chǎng)環(huán)境下的聲紋識(shí)別、關(guān)鍵詞識(shí)別、情感識(shí)別和語音識(shí)別將是全球機(jī)器人產(chǎn)業(yè)落地的關(guān)鍵技術(shù)。為此，鄒月嫻組織團(tuán)隊(duì)緊跟主流技術(shù)，提出了關(guān)鍵詞識(shí)別輕量級(jí)深度模型，短語音語者確認(rèn)輕量級(jí)深度模型，基于度量學(xué)習(xí)的語者身份確認(rèn)深度模型，基于音視頻雙模態(tài)的情感識(shí)別深度模型等，上述研究在主流數(shù)據(jù)庫(kù)上均取得了最佳性能，其中語者確認(rèn)模型已經(jīng)獲得公司應(yīng)用。

當(dāng)然，鄒月嫻團(tuán)隊(duì)在國(guó)際上達(dá)到先進(jìn)水平的研究成果遠(yuǎn)不止這些。為了讓機(jī)器人能夠準(zhǔn)確判斷出自己所處的聲學(xué)環(huán)境、所發(fā)生的音頻事件和時(shí)間，她還帶領(lǐng)團(tuán)隊(duì)重點(diǎn)攻關(guān)音頻場(chǎng)景分類、音頻事件和音頻事件標(biāo)注技術(shù)，推動(dòng)智能機(jī)器人聽覺技術(shù)發(fā)展。團(tuán)隊(duì)開展了一系列研究工作，其中基于并行時(shí)間譜注意力機(jī)制的環(huán)境聲分類模型在ESC-10數(shù)據(jù)庫(kù)上獲得了90%準(zhǔn)確識(shí)別率。“我們?cè)贏udioset數(shù)據(jù)集上達(dá)到97.0%的音頻事件檢測(cè)準(zhǔn)確率，達(dá)到了當(dāng)前國(guó)際最佳性能。”鄒月嫻頗為欣慰地說道。

讓機(jī)器人“看懂世界”

在新加坡的研究經(jīng)歷及長(zhǎng)久以來對(duì)國(guó)際科研動(dòng)態(tài)和AI產(chǎn)業(yè)落地的密切關(guān)注，使得鄒月嫻對(duì)AI的發(fā)展有著自己獨(dú)特的見解。她在很早就意識(shí)到多模態(tài)對(duì)機(jī)器智能的重要價(jià)值，在北大深圳研究生院的研究團(tuán)隊(duì)中一直有機(jī)器視覺和機(jī)器聽覺兩個(gè)團(tuán)隊(duì)并行開展研究，相互借鑒方法。與機(jī)器聽覺技術(shù)相對(duì)應(yīng)，讓機(jī)器人“看清楚”“看到”“看懂”，成為了鄒月嫻團(tuán)隊(duì)的另外一個(gè)研究重點(diǎn)。

在鄒月嫻看來，獲取清晰的視覺數(shù)據(jù)是讓機(jī)器人“看到”的前提。“但現(xiàn)實(shí)場(chǎng)景中獲取的視覺數(shù)據(jù)往往因伴隨濃霧、畫面模糊等原因?qū)е乱曈X質(zhì)量欠佳，圖像增強(qiáng)是機(jī)器視覺的一個(gè)基礎(chǔ)性課題。”鄒月嫻向記者介紹道。對(duì)于圖像增強(qiáng)技術(shù)，她帶領(lǐng)團(tuán)隊(duì)重點(diǎn)開展了基于圖像處理和深度學(xué)習(xí)的圖像增強(qiáng)方法研究，設(shè)計(jì)了端到端抑制傳輸偏差來避免色彩失真和塊效應(yīng)的深度圖像去霧模型，在多個(gè)主流數(shù)據(jù)庫(kù)上獲得了最佳性能。

讓機(jī)器在不同的場(chǎng)景中可以“看到”不同類別、不同尺度的物體和文字是機(jī)器視覺中目標(biāo)檢測(cè)任務(wù)的核心內(nèi)容，也是鄒月嫻機(jī)器視覺研究團(tuán)隊(duì)開展的工作之一。在深圳市重點(diǎn)基礎(chǔ)項(xiàng)目和企業(yè)項(xiàng)目的支持下，團(tuán)隊(duì)創(chuàng)新地開展濱海濕地監(jiān)控視頻中的鳥類目標(biāo)檢測(cè)研究，針對(duì)小尺度鳥類目標(biāo)大量漏檢和檢測(cè)模型尺度魯棒性差的問題，提出了多個(gè)目標(biāo)檢測(cè)算法，該項(xiàng)工作成果已獲得企業(yè)實(shí)際應(yīng)用，為自然界鳥類監(jiān)控提供了新的技術(shù)手段。

上述機(jī)器視覺任務(wù)屬于感知智能范疇，隨著技術(shù)發(fā)展，AI進(jìn)入認(rèn)知智能研究階段，讓機(jī)器“看懂世界”是目前的主要課題。“人類理解世界的信息有70%以上來自于視覺，我們對(duì)人腦加工視覺信息的機(jī)理尚未完全了解。”鄒月嫻介紹道。她的團(tuán)隊(duì)也開展了人-物體交互行為建模與檢測(cè)方法研究，構(gòu)建了新的網(wǎng)絡(luò)框架來分層實(shí)現(xiàn)交互式推理模型，可動(dòng)態(tài)解析視覺目標(biāo)之間的交互式語義信息。該研究成果已經(jīng)發(fā)表在國(guó)際人工智能聯(lián)合會(huì)議（AAAI2020）上，獲得了高度認(rèn)可。

與智能化同行

除卻高度的敏銳性外，鄒月嫻在科研方面另一個(gè)最大的特點(diǎn)就是以實(shí)際問題為導(dǎo)向。比如，鄒月嫻曾作為課題負(fù)責(zé)人參與了深圳市重點(diǎn)基礎(chǔ)項(xiàng)目“智慧家庭服務(wù)機(jī)器人聲學(xué)場(chǎng)景深度分析方法研究”。面向智慧家庭服務(wù)機(jī)器人應(yīng)用，她和團(tuán)隊(duì)建立了家居聲學(xué)場(chǎng)景音頻信號(hào)采集方法研究和音頻數(shù)據(jù)庫(kù)，并開展了家居聲學(xué)場(chǎng)景下的異質(zhì)多聲源定位和追蹤方法研究及多域、多任務(wù)信息處理機(jī)制和特征學(xué)習(xí)機(jī)制研究；同時(shí)，他們還研究了家居聲學(xué)場(chǎng)景多人說話信號(hào)的分離機(jī)理與算法，對(duì)家居聲學(xué)場(chǎng)景日常音頻事件和異常音頻事件檢測(cè)方法展開探索，已取得突破性進(jìn)展。

2020年教師節(jié)，現(xiàn)代信號(hào)與數(shù)據(jù)處理實(shí)驗(yàn)室全體成員合影。

一直以來，深圳市在人工智能創(chuàng)新思維與產(chǎn)業(yè)戰(zhàn)略布局方面，一直走在全國(guó)前列。而鄒月嫻看到了在學(xué)術(shù)研究和技術(shù)積累的厚度上，深圳還遠(yuǎn)落后于北京和上海。在深圳市科學(xué)技術(shù)協(xié)會(huì)的指導(dǎo)下，2019年3月，鄒月嫻聯(lián)合8家高等院校及75位學(xué)界精英和AI產(chǎn)業(yè)帶頭人申請(qǐng)成立了深圳市人工智能學(xué)會(huì)，并擔(dān)任學(xué)會(huì)副理事長(zhǎng)兼秘書長(zhǎng)，擔(dān)起推動(dòng)深圳市人工智能科學(xué)與技術(shù)發(fā)展的責(zé)任，成為深圳市人工智能發(fā)展的領(lǐng)頭人之一。正如她在2020年高交會(huì)深圳人工智能高峰論壇上總結(jié)說：“深圳市人工智能學(xué)會(huì)面臨著前所未有的發(fā)展機(jī)遇，學(xué)會(huì)將努力融合我國(guó)智能科學(xué)與技術(shù)領(lǐng)域的高等院校、研究機(jī)構(gòu)、企業(yè)、專家學(xué)者、學(xué)生群體，積極開創(chuàng)新形勢(shì)下深圳市人工智能科學(xué)與技術(shù)發(fā)展的新篇章。”

海闊憑魚躍

在人工智能研究領(lǐng)域，鄒月嫻宛如百發(fā)百中的神槍手，始終能夠準(zhǔn)確地瞄準(zhǔn)國(guó)際前沿和產(chǎn)業(yè)需求。她認(rèn)為，這與她積極參與深圳市各種項(xiàng)目評(píng)審、積極參與國(guó)際會(huì)議交流有關(guān)。“我不僅親自多次邀請(qǐng)工業(yè)界和國(guó)內(nèi)外學(xué)術(shù)界專家進(jìn)行學(xué)術(shù)交流和講座，也參與深圳市信息行業(yè)學(xué)會(huì)的專家活動(dòng)和政府組織的交流座談活動(dòng)等。”談及這個(gè)問題的時(shí)候，鄒月嫻眼睛里有一種萬事篤定的沉穩(wěn)。事實(shí)上，她還先后擔(dān)任ICASSP2019宣傳主席、AIMS2018程序委員會(huì)主席等多個(gè)國(guó)際會(huì)議職務(wù)。廣泛而高質(zhì)量的學(xué)術(shù)交流和服務(wù)使她可以洞悉國(guó)內(nèi)外的技術(shù)發(fā)展趨勢(shì)，使自身的研究與國(guó)際先進(jìn)理論緊密結(jié)合。

因?yàn)槭熘把匮芯砍晒麑?duì)培養(yǎng)人工智能領(lǐng)域人才的重要性，她在教學(xué)過程中非常注重讓學(xué)生們接觸前沿理論和最新研究成果。如今，鄒月嫻為計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)的碩士和博士研究生開設(shè)了學(xué)位必修課程“機(jī)器學(xué)習(xí)及其應(yīng)用”，在教學(xué)上采用公認(rèn)的權(quán)威教材，將最新的科研成果理論與方法引入教學(xué)內(nèi)容中。“另外，我每年都會(huì)帶領(lǐng)學(xué)生參加領(lǐng)域內(nèi)的國(guó)際頂尖會(huì)議，有幸與Alan V.Oppenheim教授、李飛飛教授、俞棟教授、鄧力教授等知名學(xué)者展開密切的交流。”鄒月嫻頗為自豪地說道。

鄒月嫻在實(shí)驗(yàn)室門口的展板上寫下“海闊憑魚躍、天高任鳥飛”以鼓勵(lì)實(shí)驗(yàn)室的同學(xué)們。經(jīng)她培養(yǎng)的學(xué)生，一部分在畢業(yè)后選擇了出國(guó)留學(xué)，繼續(xù)深造，很大一部分學(xué)生則選擇畢業(yè)后進(jìn)入華為、騰訊、百度、美團(tuán)、頭條、字節(jié)跳動(dòng)、網(wǎng)易等著名AI公司，繼續(xù)為我國(guó)人工智能行業(yè)的發(fā)展貢獻(xiàn)力量。