音樂機器人的發展歷史與技術成果

付曉東

（中國音樂學院音樂科技系，北京 100101）

音樂機器人的發展歷史與技術成果

付曉東

（中國音樂學院音樂科技系，北京 100101）

音樂機器人技術是音樂與科技交叉領域的頂層應用學科，簡要梳理音樂機器人發展歷史，著重介紹21世紀以來音樂機器人技術的代表性成果，并從發音原理、表情化演奏、仿生結構與智能程度等不同的技術方面進行了描述與分析。

音樂機器人；仿生；智能；自動演奏；交互；即興創作

1 機器人與音樂機器人的定義

機器人（Robot）“是一種自動化的機器，其具備一些與人或生物相似的智能，如感知能力、規劃能力、動作能力和協同能力，是一種具有高度靈活性的自動化機器。”①它能夠模擬人類行為或思想，并完成人類的指令與需求。現代意義上的機器人誕生于20世紀60年代，按其智能程度，迄今已經歷了示教再現機器人（非智能）—適應機器人（輕智能）—自律機器人（強智能）三代的發展，被廣泛運用于工業、農業、服務業等領域。

音樂機器人（Musical Robot）是通過程序輸入（數字或機械）而實現自動演奏音樂的仿真機器，但迄今為止，并沒有一個明確的定義來劃定其范疇。按智能程度分類，大致可以分為兩類。

（1）自動機類音樂機器人。以“示教再現”（第一代機器人）的功能范疇歸納，一切具有自動演奏功能的音樂機器人。

（2）智能類音樂機器人。考慮到機器人所具備的智能因素，即以“適應”功能（第二代）與“自律”功能（第三代）的范疇歸納，具有一定音樂內容處理、表情性演奏、自適應學習能力以及某種程度上自主創作、即興表演功能的音樂機器人。

2 從音樂自動機至智能音樂機器人的演進

2.1 音樂自動機

如果將自動機（Automaton）視為現代機器人的始祖，那么音樂機器人則可追溯至能演奏音樂的自動機（Musical Automaton）。歐洲從古希臘時代就已經發明與制造了自動機，能夠進行音樂演奏的自動機則被發明家們視為是工藝、機械與藝術的完美結合，從而受到狂熱的追捧。由此，歷史上各種體鳴與氣鳴類音樂自動機層出不窮。其中，最為典型的就是大家熟知的八音盒（Music Box），它的動力來自于發條的驅動，旋轉的圓柱或圓盤上分布著預置排列的凸點，以其撥動梳狀排列的金屬簧片而發聲（見圖1）。從公元9世紀巴格達的巴努穆薩兄弟所發明的水力自動風琴（Hydropowered Organ）起，至13世紀歐洲佛蘭德的自動排鐘，再至1796年瑞士鐘表匠安托·法布爾制造出的世界上第一個現代意義的八音盒，一直到今天所看到的藏于故宮博物院與上海八音盒陳列館所收藏的八音盒珍品，可以看到千年來的音樂自動機歷史。一個有趣的事實是，當今全球市場上作為玩具與禮品的八音盒，絕大多數產自中國。

另一個被人熟知的音樂自動機就是自動演奏鋼琴（Automatically Player Piano）。自動演奏鋼琴起源于19世紀末的歐洲，其最初的模型是在普通鋼琴前外置一個“演奏器”的機械裝置，演奏器以打孔紙卷記譜（打孔位置與鋼琴譜相符），用腳踏風箱鼓風作為動力，使紙卷緩緩轉動，根據紙卷上的孔位驅動相應的“木手指”機械擊琴鍵奏出音樂。隨后演奏器被直接安裝于鋼琴內部，還增加了控制速度、力度、踏板等的裝置。19世紀到20世紀前期，拉赫瑪尼諾夫、德彪西、馬勒、格什溫、理查·斯特勞斯都曾為這種樂器寫作樂曲，并制成紙帶供自動鋼琴演奏使用。現代自動演奏鋼琴出現在20世紀80年代，是利用計算機把演奏者手指對鋼琴鍵盤的彈奏音高、節拍、速度和力度轉換成特定的MIDI信號存于存儲介質，并傳遞給自動鋼琴控制器控制驅動器，驅動器安裝在鍵盤底部的電磁線圈動力部件，推動鋼琴的榔頭敲擊琴弦而產生音樂。“現代的自動演奏鋼琴是一個將鋼琴制造、電子工程、計算機軟件及網絡通信技術結合為一體的高科技機電一體化裝置，由傳統鋼琴、機電轉換裝置、電子控制系統、曲庫及作曲軟件等幾個部分組成”②。它還可以被單獨地集成為一個自動鋼琴演奏系統單元，安裝在任何一臺傳統鋼琴上而將其改裝成為一架自動演奏鋼琴。如今，它已經被廣泛地應用于各類商業與家庭娛樂場所中，著名的生產廠商有美國的PIANODISC公司、日本YAMAHA公司等，而國內也有了若干生產自動演奏鋼琴的廠家。

2.2 類人音樂機器人

人類的技術史上一直存在著對運動仿生的追求，而八音盒或自動演奏鋼琴僅僅是在機械控制技術層面所實現的樂器自動演奏，還未涉及真正的機器人仿生領域。由于人在演奏樂器時要求全身的機能協調自如，以實現對音長、音強、節拍與速度的精確掌控，因此，機器人對人類演奏家從形體至演奏技術的全面仿真，則成為展示與炫耀仿生技術成就的最富挑戰性的目標。1738年法國發明家與藝術家Jacques de Vaucanson(1709～1782)設計了長笛與鈴鼓演奏機器人（見圖2），被視為是音樂機器人發展歷程的一個里程碑。圖2中，左面是一個真人大小的長笛機器人，通過鼓風系統來模仿人的呼吸機制吹奏長笛，可以演奏12支不同的樂曲；右面是一個真人大小的鈴鼓機器人，為長笛機器人擊鼓伴奏。當然，長笛與鈴鼓機器人都是采用機械控制手段而實現其自動化，并不具備任何的智能因素。但是，從機器人仿生學的角度，長笛機器人是世界上首個能夠模擬人演奏行為演奏氣鳴樂器的機器人，其在發音機制與音高控制的技術上實現了仿真技術的突破，一般將其視為類人音樂機器人的起源。

圖1 八音盒發聲構造

圖2 Jacques de Vaucanson發明的長笛與鈴鼓音樂機器人③

2.3 智能音樂機器人

20世紀60年代以后，盡管工業機器人開始大規模地應用于制造業領域，然而，擁有人類外形與機制的類人機器人的研制仍然是工程學所面臨的挑戰性命題。同時，如何使音樂機器人能夠像人類演奏者一樣具備閱讀樂譜、實時伴奏的初級智能水平，也是音樂機器人亟需突破的目標之一。隨著機器人技術、人工智能、計算能力等方面的發展，20世紀80年代初，日本早稻田大學（Waseda University ）的加藤一郎教授研制了第一個全尺寸類人機器人“早稻田1號”（WABOT-1）；在此基礎上， 1984年，研制成功了能夠演奏音樂會管風琴的音樂機器人“早稻田2號”（WABOT-2）。早稻田2號音樂機器人具有人類的外表與結構，以攝像頭為眼，能夠閱讀樂譜、演奏中等難度的樂曲，并能夠根據歌手的演唱調整速度進行伴奏，如圖3所示。

早稻田2號音樂機器人標志著智能音樂機器人時代的到來。它是首個能夠將符號樂譜轉換為音樂演奏行為的音樂機器人，并能夠表現一定程度的節奏、音量變化，實現了具有表情的音樂演奏；同時，它所具有的機器學習功能使機器人擁有了音樂家演奏樂器的機能與靈敏性，具備了與人類演奏者合作表演的初級能力。

3 21世紀代表性音樂機器人

21世紀以來，機器人學（Robotics）相關領域的技術進步與創新成果的集合，為音樂機器人的研究與開發帶來了突破性進展。這些關鍵技術包括：對人類運動控制的精確理解、表情化音樂演奏特質的提取、多通道的音樂交互方式（如通過聽覺、觸覺、視覺）的實現等。這些技術大幅提升了音樂機器人在音樂分析與創作、精確快速的運動控制、協同合作與即興表演等方面的藝術才能。同時，科學家與研究者開發出了更為自然友好的控制界面與仿真外形，大大拓展了音樂機器人在教育、娛樂、服務業中的應用。現介紹一些21世紀以來代表不同層面的音樂機器人，涵蓋管樂（McBlare風笛機器人）、弦樂（豐田小提琴機器人）和打擊樂（Shimon馬林巴機器人）等各類音樂機器人。

3.1 McBlare風笛機器人

圖3 早稻田2號音樂機器人④

圖4 McBlare風笛機器人正面圖⑥

圖5 McBlare風笛機器人背面圖

2004年，美國卡內基·梅隆大學（Carnegie Mellon University）機器人實驗室為慶祝其成立25周年，特別研制了McBlare風笛機器人為這一慶典獻禮⑤。McBlare能夠演奏標準的蘇格蘭風笛，圖4則是McBlare身著傳統蘇格蘭方格裙的演出照，圖5是McBlare背面圖，它采用空氣壓縮機來提供空氣動力（見圖5下），以電磁控制手指系統（圖5左上）驅動機器人的手指來控制風笛音孔的開關而產生不同音高。McBlare能夠接收并響應MIDI控制器發送的MIDI信息，因此，可以通過MIDI接口與鍵盤、計算機或MIDI音序器等軟硬件進行實時通信。McBlare的控制與運動機能遠遠超出人類演奏者的生理極限，因此它除了能夠演奏傳統的蘇格蘭風笛作品，還能夠演奏實驗性的高難度計算機音樂作品。McBlare風笛機器人一個更重要的特征體現于它能夠在演奏的過程中實時地加入裝飾音，而音樂中充滿大量的即興裝飾音正是傳統蘇格蘭風笛音樂的風格特色。McBlare通過對大量風笛作品的統計與學習，能夠在演奏過程中根據音樂音響的語境自動加入具有鮮明特色的裝飾音。除此之外，McBlare還可以通過傳感器識別手勢運作，從而根據手勢指令來實時地演奏非傳統的音樂作品。

在形制與功能上，McBlare風笛機器人是1738年法國長笛機器人的擴展，但后者僅僅是一個非智能型的類人音樂機器人，而Mcblare擁有智能化的裝飾音演奏與手勢識別功能，此區別足以將其歸入“適應”機器人類別。

3.2 豐田小提琴機器人

對于類人機器人而言，小提琴演奏無論從運動生理學角度還是音樂情感表達的角度都要比演奏其他氣鳴或體鳴樂器復雜得多。機器人除了要掌握右臂的弓法與力度、左手的指法與把位、雙手的配合與協作等樂器演奏技術之外，還要擁有小提琴演奏中對于微妙變化的表情性能力。在日本機器人學領域，這種表情能力被稱為かんせい（Kansei），其漢語的音譯與意譯對應于“感性”一詞。對于智能機器人而言，一個能夠表現出“感性”因素的小提琴機器人是一個巨大的挑戰，這方面日本的機器人研究走在了世界的前列。豐田汽車公司（Toyota Motor Corporation）經過了十幾年的研究， 2005年推出了類人小號音樂機器人（圖6左）；在此基礎上，2007年研制成功了具有“感性”功能的小提琴機器人（圖6右），并在東京進行了首演，之后在2010年上海世博會上演奏了中國觀眾熟知的中國民歌《茉莉花》，引起世界范圍的轟動。

豐田小提琴機器人身高1.52 m，體重56 kg。它以右手持弓，具有六級自由度的右臂能夠擦奏小提琴琴弦而發出各種力度的樂音；左手手指由電磁驅動的螺旋管構成，由于小提琴的尺寸限制，左手只有三個手指用于按弦（圖7）。它能夠演奏中等技術難度的小提琴樂曲，并具有一定的音樂“感性”表達能力。

當然，同本田公司推出的著名的ASIMO行走機器人⑦一樣，豐田公司推出小提琴機器人的目的并不限于音樂表演，其最終目標在于提供家庭醫護與家務機器人，以進軍家用市場。因此，它的音樂表演能力僅是為了展示其高超的運動與控制機能，并沒有將音樂智能作為其重點發展方向。但是，在音樂機器人領域，僅就其類人仿真水平而言，至今仍難有與豐田小提琴機器人比肩的機器人。

3.3 Shimon馬林巴機器人

Shimon馬林巴機器人由美國亞特蘭大理工學院音樂科技中心（The Georgia Tech Center for Music Technology）的Gil Winberg教授在2009年主持開發，它是一個能夠即興演奏、并與人類演奏家實時重奏的馬林巴音樂機器人。盡管開發者將其稱為類人機器人（Anthropomorphic Robot）⑨，但以豐田小提琴機器人所達到的類人水平來衡量，它的外形更像是一套帶攝像頭的機械手系統（圖8）。Shimon的特色在于，它能夠使用智能音樂預測行為系統來實現與人類演奏家合作，例如可以在爵士樂二重奏的演出形式下進行旋律與節奏的即興演奏。同時，為了實現更為準確有效的同步互動，Shimon還運用了視覺信號觸發系統來進行演奏過程的調整，即可以通過攝像頭識別與其合作的人類演奏家的動作并進行分析，從而實現爵士樂中的競奏互動。其創新之處在于，即興演奏行為并不是僅僅依靠于音響信號的接收，而主要是通過對合作者的動作識別來完成。Gil Winberg和他的研究團隊發現，人類演奏家在合作即興演奏過程中，其身體的運動信號往往傳遞著非常重要的音樂引導信號。身體的運動信號不僅僅導致音樂進行的改變，在視覺上也與合作者傳遞著即興演奏的重要預測信息。Shimon擁有四個手臂，形成兩對，分別對應于馬林巴的下排鍵盤（自然音級）與上排鍵盤（變化音級）；每支手臂由螺旋管構成，控制一支琴槌。根據聲敏傳感器所發出的驅動信號沿著馬林巴的鍵盤橫向移動，最高可達到3 g的加速度，從而每四分之一秒跨越一個八度的速度進行鍵盤定位。Shimon目前可以與人類鋼琴演奏家進行合作，這是音樂機器人智能技術的一個全新研究平臺。

圖6 豐田小號機器人（左）、小提琴機器人（右）⑧

圖7 小提琴機器人的左手指法系統

Shimon是真正具備即興演奏功能的機器人，智能程度令人嘆為觀止。通過對爵士音樂作品的海量數據分析與學習，它掌握了爵士音樂的旋律、節奏與和聲風格。在整合了音樂感知、交互與即興演奏等多個計算模型的基礎上，Shimon能夠根據體勢信號與音響信號的感知來實時產生音樂，或激發演奏者與其互動，為人類合作者與聽眾帶來新穎奇特的音樂音響和體驗。開發Shimon的最終目標是將人類的創造力、情感表達、審美判斷等智能與計算機的計算能力相結合，讓人類與機器人合作而成就彼此的音樂創意。迄今為止，“Shimon已經與眾多人類演奏家合作演出，包括在慕尼黑國際數字生活設計大會（DLD）、華盛頓美國科學節、西雅圖雨傘音樂節、舊金山谷歌開發者大會等重要的場合中。”⑩

3.4 Shimi舞蹈機器人

2012年，由Gil Winberg教授擔任首席執行官的美國Tovbot公司，推出了首個與智能手機相聯的舞蹈機器人Shimi。Shimi造型特征吸收了日本卡通的“萌”元素，本身是一個兼容iPhone與Android系統的手機揚聲器底座，因此它也被稱為智能手機音樂伴侶（Smart-Phone Enabled Robotic Musical Companion）。它采用2.1聲道，其頭部為雙聲道的高頻揚聲器單元，低頻單元則內置于下腹部。它以左腳充當手機插座，當手機插入時，Shimi可以實現音樂的自動播放，并隨著音樂的節拍與旋律實時做出搖頭、跺腳（右腳）、旋轉等可愛的舞蹈動作（圖9）。Shimi可以通過語音指令或利用手機攝像頭識別人類的手勢與面部表情，來播放機主喜愛的樂曲；同時，還可以實時追蹤機主的位置，自動將揚聲器的角度調整至最佳角度，從而獲得良好的聽音效果。此外，Shimi可以分析聆聽者拍擊的節奏而自動在音樂庫內選擇指定節奏的歌曲。它的尺寸小巧、還可通過對群組的編程來實現多個Shimi機器人的群舞組合。目前，Tovbot公司正在籌劃在2015年內將Shimi推向消費市場，預期售價在200美金以內。

Shimi的出現，代表了音樂機器人的另一種設計觀念：在人類藝術的演化進程中，音樂與舞蹈在絕大多數的時間內是不可分割的，將音樂從舞蹈藝術中剝離出來單獨實踐，也僅僅是發生在近幾百年歐洲專業音樂的范圍內。Shimi的設計理念就是力求還原音樂與舞蹈這種水乳交融的關系，再現人類音樂與舞蹈藝術的原始表現意圖與審美功能。此外，Shimi是面向消費市場的音樂機器人，意味著音樂機器人走出實驗室，面向大眾的娛樂與休閑生活，從這個角度來看，它具有里程碑的意義。

4 結語

以上所介紹的音樂機器人基本上代表了不同層面的技術成果。從樂器分類學的角度來看，涵蓋了管樂器、弦樂器、打擊樂器與電子樂器，展示出當今機器人對樂器演奏技術的全面掌握。從類人仿真與人性化表演的水平來看，無疑以豐田小提琴機器人領先；以音樂機器人的智能程度與自律程度來看，則是佐治亞理工學院的馬林巴機器人拔得頭籌。設想一下，如果有這樣一個音樂機器人，擁有比早稻田2號更強的讀譜能力、比Macblare風笛機器人更華麗的裝飾音演奏技術、比豐田小提琴機器人更逼真的仿生機能與“感性”詮釋，還具備比Shimon更為完美的即興演奏與合奏能力，能夠在音樂的伴奏下跳出比Shimi更萌的舞步，那么，如此的一個音樂機器人是否能夠帶來妙不可言的音樂體驗呢？是否會廣受藝術表演市場、休閑娛樂行業以及音樂教育等領域的青睞呢？

圖8 Shimon馬林巴機器人

圖9 Shimi舞蹈機器人

答案當然是肯定的。但不可否認的是，對于音樂機器人的設計與開發而言，涉及音樂的創造、表演與欣賞，需要跨學科跨領域的拓展與深入，也還有很多科學研究與技術實踐的具體問題亟待解決，諸如人體運動的分析與合成、音樂表情的感知與詮釋、音樂情感的細節分析、音樂欣賞的數據量化、音樂音響與舞蹈動作的跨感官整合、交互式的傳感與驅動技術等等，需要進一步地深入研發，以使音樂機器人真正像人類音樂家那樣去理解、詮釋、創造音樂音響。最重要的是，下一代的音樂機器人還要具備人類音樂家的另一大特征——自發自主學習音樂的智能，即能夠通過聆聽分析自身或其他演奏者（包括音樂機器人）的音樂來獲得新的音樂才能，從而提高機器人的音樂創造與表演水平。

從大約兩千年前人類制造首個自動機開始，機器人學就是一個令人著迷的持久命題，它是科幻、工業與藝術的永恒夢想。對于現有的音樂機器人而言，在渡過眼球效應期后，必然會對其產生更多更新的期待——替代甚至超過人類音樂家的音樂才能與技藝。從這個角度來衡量，智能音樂機器人目前的發展仍然處于初期階段，以當前各種音樂機器人已獲得的成就看，可預見令人振奮的前景。

注釋:

① 引自王彥《實戰智能機器人》，海南出版社2008年10月出版，第2頁。

② 引自http://zh.wikipedia.org/wiki/自動演奏鋼琴。

③ 圖片來源于http://www.francoisjunod.com/ automates/eightennth/vaucanson_uk.htm。

④ 圖片來源于http://pinktentacle.com/2008/04/videowabot-2-android-plays-keyboard-1985//。

⑤卡內基梅隆大學與蘇格蘭有著根深蒂固的淵源——其創始人安德魯·卡內基（Andrew Carnegie）出生于蘇格蘭。卡內基梅隆大學音樂學院專設有風笛演奏專業，并擁有一支學生風笛樂隊。

⑥ 圖4、圖5來源于http://www.cs.cmu.edu/～music/ mcblare/。

⑦ 日本本田技研工業株式會社于2000年研制的類人機器人，在2013年已發展至第三代，ASIMO以其先進的仿人行走能力而著稱，其最終開發方向是作為服務性的引導員。

⑧ 圖片來源于http://www.toyota-global.com/ innovation/partner_robot/family_2.html#h202。

⑨ “Unlike computer- and speaker-based interactive music systems, an embodied anthropomorphic robot can create familiar, acoustically rich, and visual interactions with humans.” http://www.gtcmt.gatech.edu/projects/ shimon。

⑩ 源自http://www.gtcmt.gatech.edu/projects/ shimon。

? 圖片源自：Jorge Solis & Kia Ng, Musical Robots and Interactive Multimodal Systems, Springer, Verlag Berlin Heidelberg 2011, P235。

? 圖片來源于https://www.kickstarter.com/ projects/143402057/shimi-a-smart-musical-robot-foryour-iphone。

[1] 王彥. 實戰智能機器人[M]. 海南：海南出版社，2008.

[2] 自動演奏鋼琴 [DB/OL]. 維基百科中文：http:// zh.wikipedia.org/wiki/, 2014-12-6.

[3] Jorge Solis & Kia Ng. Musical Robots and Interactive Multimodal Systems[M]. Springer：Verlag Berlin Heidelberg, 2011.

[4] Hoffman, G. & Weinberg G.. Interactive Improvisation with a Robotic Marimba Player[J]. Journal Autonomous Robots, 2011, 31.

[5] Bretan, M. & Weinberg, G.. Chronicles of a Robotic Musical Companion[C]. submitted to Proceedings of the New Interfaces for Musical Expression Conference (NIME 2014), London, UK. , 2014.

付曉東，音樂聲學博士，中國音樂學院音樂科技系教授，美國佐治亞理工學院（Georgia Institute of Technology）訪問學者（2014年9月至2015年3月）。

（編輯 杜 青）

History and Technological Achievements of Musical Robot

FU Xiao-dong
(Music Department of Science and Technology, China Conservatory of Music, Beijing 100101, China)

Music robotics application is the top cross-disciplinary fields of music and technology. In this paper, the writer combs the development history of music robot briefly, and focuses on the representation results of musical robotics from the the 21st century. Additionally, some different techniques such as pronunciation principle, expression of playing, bionics and intelligent degree were described and analyzed.

musical robot; bionics; intelligence; automatically player; interaction; improvisation

10.3969/j.issn.1674-8239.2015.05.003