當(dāng)音樂遇上IoT—— 疫情推動音樂物聯(lián)網(wǎng)創(chuàng)新應(yīng)用

在身體疏遠(yuǎn)的時候，音樂物聯(lián)網(wǎng)的應(yīng)用變得越來越重要。

之前，我們討論了物聯(lián)網(wǎng)和表演藝術(shù)的融合領(lǐng)域，這種現(xiàn)象被稱為音樂物聯(lián)網(wǎng)或“ IoMusT”。這項技術(shù)僅在COVID-19時代才變得更加普及，在COVID-19時代，從演唱的意義上講，不再有許多現(xiàn)場音樂活動，例如音樂會。

以下是我們看到IoMusT出現(xiàn)在實際應(yīng)用程序中的幾種方法。

基于網(wǎng)絡(luò)的協(xié)作

通過網(wǎng)絡(luò)連接的音樂表演使音樂家既可以到達(dá)同一地點，也可以到達(dá)偏遠(yuǎn)的觀眾。

IoMusT網(wǎng)絡(luò)框圖。

一個示例是稱為ReacTable的網(wǎng)絡(luò)音樂表演（NMP）系統(tǒng)，該系統(tǒng)由桌子的可觸摸界面組成，該界面可以跟蹤物體在表面上的移動方式，以隨后控制音樂輸出。該界面允許位于不同位置的音樂家與桌子上的物品進(jìn)行協(xié)作，并在同一場音樂會上進(jìn)行實時表演。

ReacTable接口。圖片由ReacTable提供

聯(lián)網(wǎng)的表演還允許各種事物之間的連接，例如智能樂器和可穿戴設(shè)備，從而為音樂家和聽眾成員提供更全面的服務(wù)和音樂合作。聯(lián)網(wǎng)音樂系統(tǒng)可以通過局域網(wǎng)（LAN），廣域網(wǎng)（WAN）或無線傳感器網(wǎng)絡(luò)（WSN）進(jìn)行。

互動表演

交互式表演通常由配備傳感器的現(xiàn)場表演者和音樂家組成，他們可以使用身體手勢實時控制燈光等媒體元素。數(shù)字樂器是現(xiàn)場表演的關(guān)鍵部分，它映射手勢以控制樂器的信號。

創(chuàng)作歌手Imogen Heap是互動音樂表演技術(shù)的先驅(qū)。她以開發(fā)MI-MU手套而聞名，這使她能夠通過手和手臂的動作將聽覺元素引入到她的表演中。

MI-MU手套依靠嵌入在織物中的運動傳感器。圖片由MI-MU提供

《華爾街日報》（Wall Street Journal）作家約翰·于根森（John Jurgensen）解釋說：“堆女士并沒有像許多電子藝術(shù)家那樣在舞臺上擺弄筆記本電腦，而是通過WiFi連接的手套和自定義動作來控制自己的裝備，例如張開雙臂以增加回聲她的聲音或捏手指以使合成器音調(diào)變亮?！?/span>

虛擬和增強現(xiàn)實音樂會

VR和AR界面（包括頭戴式顯示器）可以使用戶沉浸在多感官的音樂體驗中。最近，這甚至擴展到了將世界各地的人們聯(lián)系起來的遠(yuǎn)程音樂會和合作。

這些虛擬環(huán)境有時包括用戶自己可以演奏的許多虛擬樂器。身臨其境的音樂表演包括3D小部件和圖形元素，允許用戶控制和可視化音樂。例如，Melody VR是一款應(yīng)用程序，可讓您“從沙發(fā)上觀看音樂會”。

Melody VR是一款允許用戶使用VR技術(shù)體驗現(xiàn)場演唱會表演的應(yīng)用程序。圖片由Melody VR提供

增強現(xiàn)實通過將現(xiàn)場表演舞臺與充滿各種數(shù)字元素和控件以控制音樂過程的虛擬環(huán)境相疊加，從而增強了現(xiàn)場表演。

Coachella是世界上最大的音樂節(jié)之一，以使用這種沉浸式技術(shù)而聞名。2017年，音樂會籌劃者為節(jié)慶者發(fā)布了AR / VR應(yīng)用程序。該應(yīng)用程序允許參與者使用粉絲的“ Welcome Box”號碼作為跟蹤標(biāo)記來訪問AR體驗。

音樂觸覺可穿戴設(shè)備

隨著物聯(lián)網(wǎng)技術(shù)變得越來越復(fù)雜，最近幾年可穿戴設(shè)備出現(xiàn)了巨大的增長。現(xiàn)在，有許多智能設(shè)備可以用作可穿戴設(shè)備，它們可以感應(yīng)，存儲，分析數(shù)據(jù)并將其發(fā)送回應(yīng)用程序。

IoMusT可用的可穿戴設(shè)備稱為音樂觸覺可穿戴設(shè)備。

該臂章原型是觸覺可穿戴設(shè)備的示例，該設(shè)備可讓一組音樂表演者在即興創(chuàng)作過程中以非語言方式交換音樂指導(dǎo)。屏幕截圖由Internet of Musical Things提供

這些設(shè)備包括觸覺仿真，手勢跟蹤和無線連接。音樂觸覺設(shè)備促進(jìn)了位于同一位置和偏遠(yuǎn)位置的音樂家之間的通信層的增加。

通過技術(shù)吸引觀眾

近年來，通過各種互聯(lián)技術(shù)積極吸引觀眾的趨勢已經(jīng)增加。這稱為技術(shù)介導(dǎo)的受眾參與（TMAP）。在TMAP表演中，觀眾可以控制通過智能手機在音樂會中傳遞的情緒和視覺內(nèi)容。

一場開放交響樂表演。圖片由Mathieu Barthet提供

這種機制的示例包括被稱為“情感驅(qū)動的互動音樂表演”的Mood Conductor和Open Symphony，后者是傳感器和應(yīng)用程序的組合，可讓聽眾影響現(xiàn)場環(huán)境中播放的音樂。

連接音樂愛好者無處不在

盡管工程師們在IoT領(lǐng)域不斷創(chuàng)新，但在物理聚會（包括音樂家排練，音樂會和其他音樂聚會）受到限制的時候，IoMusT變得越來越重要。