音樂物聯網的設計與研究

井艷紅

（鄭州西亞斯學院音樂戲劇學院，河南 鄭州 451150）

1 研究背景

物聯網的概念和相關技術為萬物互聯提供了物理基礎和保障，各個行業或者領域也都在借助互聯網的力量在信息化的浪潮中探索如何進一步發展。音樂事物作為人類社會廣泛存在的形式，將音樂事物與物聯網相關的研究正方興未艾[1]。文獻[2]探討了智能車載系統中的音樂服務與交互設計，結合未來車聯網的可連接服務系統。與此同時，國際計算機音樂大會、音樂表達新界面國際會議等此領域最尖端的學術會議也逐漸將探討的熱點轉向了人機交互電子音樂[3,4]。文獻[5]的學者設計了基于物聯網的智慧音樂系統。

近期，音樂物聯網（IoMusT）[6,7]的概念被一些學者提出，Hazzard等人[6]在樂器的背景下使用了QR碼，可以幫助用戶了解樂器及其社會歷史的在線數據。Turchet等人[7]建議將物聯網的概念擴展到音樂領域，將IoMusT視為物聯網的一個子領域，其基礎技術和基礎設施連接了音樂家和觀眾并在互操作設備生態系統得以實現，以支持新穎的音樂家-音樂家、聽眾-音樂家和觀眾-觀眾互動。IoMusT是一個涉及多學科、多專業的綜合工程，所涉及的各個技術環節國內外學者都做了大量的研究也都給出了成功的解決方案，所以在技術上實現音樂事件的互聯網化是完全可行的，但以往的研究都是單一的從某一個方面著手，缺乏一個統一的研究框架，完整的研究體系還不健全。本文計了一個小范圍的IoMusT系統，在其周圍實現了一個生態系統。

2 IoMusT基本組成

（1）網絡音樂表演系統?；ヂ摼W的出現使網絡音樂表演（Networked Music Performances, NMP）的潛力急劇擴大，這導致了與創建NMP系統各方的積極參與。它們可以發生在有線網絡上，如局域網或廣域網，也可以發生在無線網絡上，本地設備可以通過諸如移動設備之類的便攜式集線器經由人體區域網絡（Body Area Networks, BANs）或個人區域網絡（Personal Area Networks, PANs）來互連。目前，網絡已經在城市中心實現了一種普遍性，可用性通常不再是問題。

（2）互動表演?；颖硌萃ǔＶ竿ㄟ^身體動作和手勢，為配備傳感器的現場表演者（如舞者或音樂人）實時控制媒體元素和事件。隨著數字樂器的出現，表演者的機械動作與自然的聽覺效果分離開來，將控制屬性映射到感知屬性的可能性是無限的。因此，在數字音樂樂器設計中，映射技術代表了一個主要的挑戰，這是在音樂表達努力的新接口中解決的。

（3）泛在音樂（ubimus）的廣泛性。ubimus通過創造性支持工具提供音樂活動的無處不在的人力資源和物質資源系統。小型計算單元可以遠程控制以收集數據，并與人和物力資源交互作用。定制硬件和現成組件的組合可以促進計算設備和外圍設備的發展。如作為IoMusT藝術應用的一個例子，內存樹項目使用部署在遠程物理位置，但可以通過互聯網訪問簡單的錄制和回放設備。

（4）Web音頻、云計算和邊緣計算。網絡音頻用于在Web應用程序中處理和合成音頻的高級JavaScript API與以前的音頻相比，它是一個進步網絡技術，如插件（Flash, QuickTime）或HTML5音頻元素，允許基本的流式音頻播放。Web Audio支持現代數字音頻工作站中的一些功能，如音頻信號的路由、高動態范圍、低延遲的采樣準確聲音回放、混合處理（例如動態和基于延遲的效果、均衡、空間化）以及合成。最近的作品將網絡音頻用于以技術為媒介的參與式現場表演，包括手機。

（5）可穿戴設備。在過去的十年里，市場上可穿戴設備的數量大幅增加。這些智能設備可以作為附件佩戴在身上，能夠跟蹤身體活動（例如手勢、體溫、皮膚電反應、心率），也可以通過互聯網或與其他智能設備點對點連接進行無線數據交換。最近，有人提出了一種新穎的可穿戴設備，即音樂觸覺可穿戴設備，其目標是音樂家和觀眾。這些設備可能包括觸覺刺激、手勢和生理參數的跟蹤以及無線連接特色音樂觸覺可穿戴設備，為了在同一位置和遠程設置，通過利用觸覺增強音樂家之間以及音樂家和觀眾之間的創造性交流。

3 IoMusT系統設計

如何歸納音樂事件，分析音樂事件的特性進而給出音樂事件的工程定義是IoMusT架構設計的關鍵。

從技術角度來看，IoMusT系統的核心組成部分分為以下三類。

音樂事物。將音樂事物定位為事物的一個子類，因此它們繼承事物的特性，如傳感器、執行器、連接選項和用于收集、分析、接收和傳輸數據的軟件，其關鍵因素是互操作性和同步性。音樂事物是可以在音樂環境中用來產生音樂內容或觀察與音樂體驗相關現象的實體，可以連接到本地或遠程網絡并充當發送者或接收者。例如，音樂事物可以是智能樂器、音樂觸覺可穿戴設備或用于控制、生成或跟蹤對音樂內容響應的任何其他聯網設備。

連通性?；A設施支持音樂事物之間的多向無線通信，包括本地和遠程。本地網絡或互聯網上音樂的互連通過硬件和軟件技術進行管理溝通。音樂表演對通信有特殊的限制。具體而言，在典型的實時使用情況下，連接基礎設施應確保通信具有低延遲、高可靠性、高質量和緊密同步的特點。這些需求類似于實時遠程手術、虛擬現實和增強現實以及實時自動化，但在絕大多數物聯網應用中并不需要。

應用和服務。可以在連接的基礎上構建各種類型的應用程序和服務，其目標用戶包括音樂家（如作曲家、表演者、指揮家）、音頻工程師（如現場或錄音室的音響工程師）和聽眾。這種應用程序和服務可以具有交互或非交互式性質。為了建立交互式音樂應用程序，實時計算具有特殊的重要性。與物聯網類似，IoMusT可以利用Web API和物聯網架構，設計用于音樂目的應用與服務。音樂可以通過Web API公開服務。應用程序是音樂事物網絡架構中更高層次的一部分，允許用戶直接與內容或音樂事物交互。

IoMusT基礎設施支持互操作設備的生態系統，這些設備將音樂家與其他人以及觀眾連接起來，這使得在同一地點和遠程環境中的交互可能性倍增。這樣的生態系統為創造性人工制品的設計提供了肥沃的土壤，提供了新穎的啟示類型，包括監控創造性控制或與音樂家和觀眾成員相關音樂內容的響應的方法。通過將物聯網應用于音樂領域，設想從傳統的西方書面音樂傳播鏈（即作曲家編寫由樂器演奏者解釋的音樂內容，并由被動觀眾接收）轉向一個互動可能性無窮的音樂網。例如小規模的場景，音樂廳內的音樂表演；例如大規模場景，在虛擬環境中聚集數千名參與者的大規模開放在線音樂表演。

4 IoMusT生態系統的實施

本文設計了一個小范圍的IoMusT系統，在其周圍實現了一個生態系統，其中五個音樂事物的原型依靠語義音頻和邊緣計算技術相互通信以此來驗證IoMusT的可行性，其中包含所開發系統的硬件和軟件組件，包括以下組成部分。

（1）音樂原型。課題組開發了五種原型，包含了音樂的關鍵特性，即嵌入式平臺和無線連接。具體地說，作為一個平臺，使用Bela板進行低延遲音頻和傳感器處理（正常版本稱為“Bela mini”的袖珍版本）。無線連接通過連接到Bela板（支持IEEE 802.11ac Wi-Fi標準）的NETGEAR A6100-100PES Wi-Fi USB加密狗實現。

一個原型被賦予了生產者的角色，三個是消費者的角色，一個是聚合者的角色。與聚合器不同，生產者和三個消費者被配置為生成聲音。無論是生產者還是消費者，都使用一個小喇叭來傳遞聲音。聲音引擎采用libpd編碼，是一種將純數據計算機音樂環境移植到嵌入式系統庫中的方法。制作人的聲音引擎包括一個合成音符的發生器（通過一個基本的正弦振蕩器），其密度在每秒1 200個音符的范圍內隨機變化。每一個產生的音符的參數隨機如下：頻率范圍在三個倍頻程的一個大音階的頻率之間；持續時間為10～150 ms。遵循邊緣計算的原則，我們不會將產生的音頻信號或表征notes生成器隨機行為的數字流傳輸到語義服務器。相反，我們將每5 s計算的四個參數（密度、頻率、持續時間和振幅）的平均值流化。這些計算是由libpd補丁執行的。數據通過一個python腳本通過SPARQL更新請求流化，該腳本通過OSC消息從libpd聲音引擎接收數據，并根據音頻特征本體映射請求。

（2）音頻特征本體。為了確定這個應用程序場景的正確方法，我們將重點放在應用程序的上下文上。背景中的主要實體是四個高級音頻特征，即平均振幅、平均頻率、平均持續時間和平均密度。然后，客戶機利用本體來表示或解釋信息。對本體進行了擴展，為推斷的狀態定義了一個新的類，并定義了一個新的對象屬性，將當前性能的實例與狀態的實例鏈接起來。

（3）語義服務器。SEPA運行在一臺支持IEEE 802.11ac Wi-Fi標準并運行ubuntulinux17.10的戴爾Alienware 17r2筆記本電腦上，使用了SEPA的Java實現版本0.8.4。為了增強應用程序的性能并滿足IoMusT域的要求，語義服務器僅承載上下文的當前狀態。從語義的角度來看，這個用例的上下文包含以下實體：當前性能；制作者提取的最后一個高級音頻特征；我們的聚合器KP推斷的最新狀態。

（4）網絡。所有設備都使用Wi-Fi路由器TP Link TL-WR902AC進行連接，該路由器在5 GHz頻段采用IEEE 802.11ac標準。Wi-Fi系統組件以減少延遲和提高吞吐量為宜，路由器配置為接入點模式，禁用安全性，僅支持IEEE 802.11ac標準。

5 結束語

IoMusT是在物聯網的基礎上，將音樂事物作為研究的切入點，是一個涉及多個工程領域的綜合性研究課題，涉及諸如計算機、通信、信息處理等多方面技術?！?/p>