動作識別處理影響音樂播放技術初探

樊嘉琳

摘 要：隨著生活水平的提高，人們對于音樂的興趣愈發凸顯出來，人人都希望通過音樂來表達自己的情緒，但唱歌、演奏樂器對身體條件、經濟條件、時間成本要求較高。因此，“動作識別處理改變音樂播放的技術”（在此我們稱之為“模擬指揮”）有很大的需求和價值。此技術使得任何人都可以根據自己的理解，改變樂曲的進行。本文論述了動作識別技術的原理發展以及實踐應用的探索和在實現“模擬指揮”的Max/MSP程序設計中出現的問題、不同的解決方式以及不同解決方式的優缺點。

關鍵詞： “模擬指揮” 數據分析 動作識別? Max/MSP程序

Research on the Influence of Motion Capture on Music Processing

FAN Jialin

（Shanghai SUNRAY Creative Design Co.， Ltd.，Shanghai，200000 China）

Abstract：With the improvement of living standards， people show more and more interest in music. Everyone hopes to express their emotions through music， but singing and playing musical instruments have higher requirements for physical conditions， economic conditions and time cost. Therefore， "the technology of motion capture to change music processing " （here we call it "simulated conduct"） has great demand and value. This technology enables anyone to change the processing of music according to their own understanding. This paper discusses the principle development and practical application of motion capture technology， the problems in the max / MSP program design of "simulated conduct"， different solutions， and the advantages and disadvantages of different solutions.

Key Words：? Imitate conduct;Date analyze;Motion capture;Max/MSP program

隨著科技發展，以及音樂與科技日益密切的結合，動作捕捉技術已將不再局限于利用動作進行音樂觸發的交互實驗，而還可以對音樂的各個方面進行實時處理（如播放速度、音量等），這也是交互式電子音樂[1]的其中一種表現形式。正文部分將對在Max/Msp中進行基礎MIDI播放、動作識別技術對音樂速度的改變，進行原理上的分解，并且介紹這些技術在“模擬指揮”作品中的應用。

1 運動捕捉技術

1.1 運動捕捉技術簡介

運動捕捉[2]的實質就是要測量、跟蹤、記錄物體在三維空間中的運動軌跡。運動捕捉可以用于測量尺寸、物體的定位和方位、運動速度、加速度等方面，在傳感器識別捕捉動作后，將這些動作轉化為可以用計算機進行分析處理的各種數據，如長度、速度、加速度等等。

1.2 運動捕捉技術的原理分類

1.2.1? 機械式運動捕捉

依靠機械裝置來跟蹤和測量運動軌跡，把想要捕捉的物體和機械結結構連接，物體運動帶動機械裝置，使運動實時記錄下來。這種方式成本低，精度也較高，但是使用很不方便。

1.2.2? 光學式運動捕捉

對于空間中的一個點，只要它能同時為兩部相機所見，則根據同一時刻兩部相機所拍攝的圖像和參數，可以確定這一時刻該點在空間中的位置。當相機以足夠高的速率連續拍攝時，從圖像序列中就可以得到該點的運動軌跡。它的優點是使用方便，可以捕捉實時運動，精度尚可，成本較低。當然如果在運動物體上安裝一些反光點，并配合外部的紅外燈，則可以實現精度較高的運動捕捉，但是此時運動物體的形象會受到較大的影響[3]。

1.2.3? 慣性導航式動作捕捉

通過慣性導航傳感器AHRS（航姿參考系統）、IMU（慣性測量單元）測量表演者運動加速度、方位、傾斜角等特性。不受環境干擾影響，不怕遮擋。捕捉精確度高，采樣速度高，但成本較高。慣導傳感器佩戴在表演者頭上，或通過17個傳感器組成數據服穿戴，跟蹤頭部、全身動作，實時顯示完整的動作。

在此作品中，動作捕捉設備選用的是Kinect[4]，屬于光學式運動捕捉，可以識別人的關節點，進而計算出人的位置、速度、加速度等等參數。

1.3? Kinect技術簡介

（1）Kinect 包含有 3 個傳感單元;（2）彩色攝像頭，用于同時識別多達 6 個人;（3）單色紅外攝像頭， 配個紅外激光發射器，負責判斷深度;（4）4個麥克風負責拾取聲音及識別聲音位置。 彩色攝像頭和單色紅外攝像頭共同配合工作，最終的數據以一個包含有 20 個節點的骨架來呈現，其數據類型有位置、長度、速度、加速度等。這些數據最后通過OSC 格式傳輸至電腦漸行處理。

2? MIDI播放基本環節

本文是基于動作識別的交互式裝置作品。該作品以MIDI[5]文件及與MIDI文件同步的視頻文件為基礎，通過Kinect采集人的“指揮類”動作，判斷其速度快慢，并用于控制MIDI文件及視頻文件的播放速度，來實現虛擬指揮的體驗，通過Max/MSP[6]來實現程序編輯。整個程序分成文件回放、速度識別及其他部分。為了讓該裝置的節目源更加豐富，程序設計時盡量使用了通用的文件格式。例如MIDI只需要兼容GM格式即可，視頻采用QuickTime格式。在程序中只需要添加MIDI的音色、速度及長度等信息即可。不需要將現有的文件形式轉換或調整為某種特殊格式，大大實現了通用型。

2.1 MIDI優勢

因為涉及到音樂播放速度，所以就不能單純的用音頻文件，因為音頻文件進行變速后會產生音高變化，而音高不變的時間拉伸也會改變音質，無法正常詮釋樂曲。若變速前的音符是一個長音，用MIDI的形式可以讓變速前的長音繼續播放，不受下一個音符開始的變速影響。

2.2 音色及控制器信息發送

提前預置每首歌曲每個聲部所對應的音色。當演奏者選擇歌曲后，各聲部的音色信息將被發送。同時部分控制器例如音量、聲像等也會被發送。

2.3 MIDI播放

圖1為MIDI播放的程序搭建。其中使用detonate模塊制作復音播放，根據處理后的速度信息來控制下一個音符的播放時間間隔，從而使播放速度改變。inlet1的數據是detonate傳來的通道數據;inlet2的數據是將MIDI的音高、時常等基本數據打包，通過gate傳送給makenote，來使各個聲部可以正確的對應播放。在此過程中，gate模塊的16通道運用是為了實現最多16通道而用（gate是將信息按照指定出口輸出的工具，右上角輸入的是想要輸出的信息，左上角輸入的是對輸出信息的端口選擇）。音符數據輸出后送至Roland Integra 7音源發聲。

變速播放是通過改變detonate發送的下一個音符的間隔時間來實現。detonate本身并無小節及節拍概念，而是僅僅按照每個事件之間的間隔對事件進行發送。因此整體改變間隔時間，就可以實現速度變化。例如將detonate輸出的間隔時間乘以2，則每個事件之間的間隔加倍，整個速度就變為原來的一半。圖1中delay右上角的“* 1.”就是用于調整事件間隔的。

3 將運動數據轉化為音樂信息

3.1 速度判斷

對于速度的判斷這里采用了2類不同的方法。

3.1.1? 連續判斷速度模式

優點：可以實現連續的速度變化;缺點：很難將手的運動瞬時速度對應到MIDI播放速度。（1）根據手處于某些定點的瞬時速度。人的身體若是移動，定點數據相對于手的位置也會改變，甚至手的軌跡不經過這個定點。所以某個定點的速度數據就不夠精準，甚至會出現數據缺失的情況。（2）根據揮手在中間段的多個定點的速度求部分定點的平均值，來代表速度變化。這樣的可以在根據一個定點的基礎上大大增加速度識別的準確性。即使手的揮動不會經過某一個定點，但是仍然可以根據其他定點取得平均值。但是定點直接識別速度的技術還不夠成熟，比如人若離開Kinect識別范圍瞬間，數據會突然會非常大幅度的無規律波動，所以會有未知的不確定性。

3.1.2? Tap tempo模式

優點：準確;缺點：需要兩拍才能判斷速度，感覺上會有一點延遲。

（1）定義邊界，手越過某個邊界就發出bang，然后計算每個bang之間的時間，轉換為速度準確，但是要求人必須站在某一個準確位置。（2）判斷揮手方向改變，當手改變揮動方向時，會出現大幅度加速度改變，當加速度大于某一數值后就發出bang，然后計算每個bang之間的時間，轉換為速度。

人可以站在任何可識別位置，但是選擇加速度閾值范圍會比較低，閾值過低很多小動作都會被判斷，閾值過高判斷就不夠靈敏。

最終解決辦法使用（2）b模式，但是同時判斷雙手的下、左、右3個方向加速度變化，最后得出6個bang。當某個bang收到后，利用antibang過濾掉其他5個方向的bang。使用這個方法可以在降低閾值后仍然得到較高的精度。但是該方法依然有沒有攻克的部分，比如速度識別中的延遲。在此裝置的速度識別中，我們使用的是tap tempo的模式，作品中存在的局限，也是tap tempo本身的局限。在tap tempo中，我們需要敲擊兩次才能得到兩拍之間所用時間，從而推算出速度;模擬指揮中也是如此，必須要有兩次方向變化才能有新的能轉化為速度數據的時間值，所以不是完全實時。尤其在慢速播放時，這種延遲更為明顯。

以快速、慢速分別揮手模擬指揮，觀察Kinect收集到的手部數據變化，從而確定因手揮動而改變的數據的大致范圍，然后利用clip將這個范圍內的數據等比例轉化為0.5至2的范圍之中，也就是說我們控制了模擬指揮的最快變速和最慢變速分別是在基礎速度值上減少一半或者增加一倍，防止變速范圍過大帶來的不協調感。圖2通過delay來控制下一個MIDI音符的播放，detonate第一個送出端口是時間信息，將這個時間與我們的揮動得出速度變化倍數相乘，然后延遲這個時間，就是下一個音符開始的的播放速度。總而言之，處理后的速度信息控制的是后面音符依次播放的時間間隔，將其間隔等倍變化，得出音樂速度改變效果。

3.2 音量判斷

（1）利用Kinect，將識別到的手的運動信息轉化為數據形式，再通過OSC傳輸到Max進行處理。（2）將高度數據轉化為音量數據。取左手、右手高度的最大值，然后利用slide讓高度數據不要幅度過大，將其數據通過zmap轉化為音量數據所需要的0-127，因為指揮控制的是響度，但并不希望會十分微弱甚至聽不清聲音，所以變化范圍選用50-127。這樣的指揮方式不僅直接快捷，而且動作上也符合我們對更大音量帶來的激動情緒的抒發形式。

4? 結語

“模擬指揮”使得每個人都有用音樂表達情緒的權利，受到非專業人士的喜愛。但是裝置識別的指揮動作和專業指揮動作不完全一致，現實指揮中不僅包含對速度、音量的控制，還能調動演奏者情緒上的起伏，這個是目前數據化的指揮無法達到的，所以并不能完全取代指揮家。此作品中，動作識別在速度變化中的成功運用，證明了動作識別的可操作性，也使得動作識別的前景也更加凸顯出來，為未來的交互式藝術提供了更多的可能性。

參考文獻

[1] 范翎. 交互式電子音樂研究[D].南京：南京藝術學院，2017.

[2] 龐志宏. 人體運動數據自動捕捉與 舞譜生成分析[J]. 中國有線電視，2019（5）：509-511.

[3] 徐佗成. 基于光學動作捕捉的機器人示教系統設計與實現[D].杭州：浙江工業大學，2020.

[4] 袁菲. 基于Kinect的手勢識別系統設計與應用[D].西安：西安科技大學，2018.

[5] 張楚翹. 基于樂段特征的MIDI音樂風格分類研究[D].廣州：華南理工大學，2018.

[6] 李欣煒，劉奇.淺析凱佳·薩利亞霍的電子音樂作品《NoaNoa》[J]. 文藝生活·下旬刊，2020（6）：80-81.

[7] 王俊. 基于Max/MSP平臺的流行風格打擊樂應用程序設計[D]. 武漢：武漢音樂學院，2018.

sdjzdx202203231614