谷歌AI模型ML-Jam激發(fā)音樂家創(chuàng)作,人機(jī)合作或成未來大勢!

谷歌AI研究人員兼鋼琴演奏者PabloCastro正在開發(fā)一款可深度生成AI模型，讓音樂家與之合作即興創(chuàng)作音樂，以發(fā)掘人類即興音樂的特點(diǎn)，進(jìn)而打破人類創(chuàng)造性的界限。

Castro在一支爵士樂隊(duì)PSCTrio中演奏鋼琴，他們在渥太華、蒙特利爾以及加拿大其他地區(qū)演出。他表示，“我們已經(jīng)接受了很長時(shí)間的訓(xùn)練，所以可以使用音樂訓(xùn)練來創(chuàng)造性地發(fā)現(xiàn)更多的未知區(qū)域，這很可能會帶來新的音樂表現(xiàn)形式。

經(jīng)典的音樂是音樂家主要的收入來源，但是長此以往音樂可能會變得無聊并且一塵不變。為了突破音樂創(chuàng)造的界限，Castro決心開發(fā)一款可深度生成AI模型，鼓勵音樂家通過即興創(chuàng)作來挖掘更加獨(dú)特的音樂。

GoogleBrain的Magenta項(xiàng)目中ML-Jam通過機(jī)器學(xué)習(xí)操縱音樂，意圖展現(xiàn)音樂即興創(chuàng)作的人格特征。ML-Jam利用了Magenta的DrumsRNN和MelodyRNN，有意將自己限制在預(yù)制模型中。

2016年6月，Google Brain就發(fā)布Magenta項(xiàng)目，該項(xiàng)目旨在讓電腦合成具有沖擊力、藝術(shù)性、并且充滿驚喜的音樂，但到目前為止，投入產(chǎn)出比并不理想。2016年9月，谷歌旗下的英國人工智能公司DeepMind發(fā)布了一項(xiàng)實(shí)驗(yàn)的最終結(jié)果，該公司最初進(jìn)行這項(xiàng)實(shí)驗(yàn)完全是出于興趣。

DeepMind將鋼琴曲樣本放入WaveNet系統(tǒng)中以生成諸如演講類的音頻，雖然DeepMind并未披露該系統(tǒng)是如何運(yùn)作合成音樂的，但該系統(tǒng)利用初始音頻所合成的一段10秒鐘的爵士樂頗為前衛(wèi)。IBM也成立了一個(gè)名為“WatsonBeat”的研究項(xiàng)目，音樂家可以通過它來改變自己的曲風(fēng)，使歌曲聽起來具有中東風(fēng)格或者“幽靈風(fēng)”。

Castro表示：“實(shí)質(zhì)上，我想要做的是保持我的旋律，因?yàn)檫@反映了我演奏的方式，但要用模型制作的音符取代我本身的音符，達(dá)成所謂的混合即興創(chuàng)作。在自己的經(jīng)歷中，這通常不是我自己能想到的節(jié)奏，因?yàn)檫@不是一種有機(jī)地適合我的節(jié)奏。但它通常會成為我感興趣的東西。

最近，Castro在北卡羅來納州夏洛特舉行的國際計(jì)算創(chuàng)新大會（ICCC）上發(fā)布了ML-Jam及其開源Python代碼。

據(jù)他所作的介紹，ML-Jam 的運(yùn)作從一種確定性鼓槽開始。有人演奏低音提琴，并添加其他樂器，然后將凹槽發(fā)送到 DrumsRNN，以生成一個(gè)獨(dú)特的模型。然后，一個(gè)控制節(jié)奏模型的音樂家用 MelodyRNN 創(chuàng)作的旋律即興創(chuàng)作一個(gè)音樂短語。

研究人員使用 Python 的多線程使 ML-Jam 的推理在一個(gè)單獨(dú)的線程中運(yùn)行，允許生成模型，然后在演出期間實(shí)時(shí)播放。由于生成一個(gè)模型可能會帶來不可預(yù)測的時(shí)間，所以音樂家必須在舞臺上使用他們未現(xiàn)場聽到的聲音。

Castro嘗試讓ML-Jam和他的爵士樂三人組一起演奏，但他們之間缺乏“化學(xué)反應(yīng)”。所以，他計(jì)劃將AI融入他自己的音樂中。他的下一步計(jì)劃是使用ML-Jam或衍生系統(tǒng)為現(xiàn)場表演提供獨(dú)特內(nèi)容。

他開始研究的這件事本質(zhì)上就是個(gè)人秀，只有他和......即興創(chuàng)作圍繞的這項(xiàng)技術(shù)。過程中，ML-Jam 變得更加有機(jī)，讓他很感興趣的是，它迫使他以一種非常不同于平常的方式來處理作曲。

“我必須考慮它是否適用于我所使用的系統(tǒng)類型。它像鼓一樣使用一個(gè)循環(huán)，所以我必須有一些適合循環(huán)的東西，不會太重復(fù)，也不會很無聊，但仍然很適合這個(gè)想法……,所以每當(dāng)我完成它的時(shí)候，無論從中得到什么，如果我沒有對我自己施加這些限制，那么 100％與我想出的任何東西都會非常不同?！?/p>

最近，音樂制作也涌現(xiàn)出了其他杰出AI模型包括Magenta的鋼琴精靈。上個(gè)月Flaming Lips在I / O表演舞臺上使用了一個(gè)名為Fruit Genie的鋼琴精靈版本。

Castro與AI的合作演奏可能會融入其他新穎的音樂模型，例如，Magenta音樂變換器可以制作鋼琴旋律以及OpenAI的MuseNet，都可以激發(fā)更多即興創(chuàng)作。 3月份，Google創(chuàng)建了一個(gè)以音樂轉(zhuǎn)換器驅(qū)動的工具，它可以從一個(gè)人選擇的鍵開始，然后生成聽起來巴赫風(fēng)格的音樂。

Castro表示，音樂生成模型的全部意義在于探索人機(jī)合作的空間，因此這些合成音樂體現(xiàn)的是合作，而不是試圖采用外部構(gòu)建的系統(tǒng)并將其放入人類創(chuàng)作的歌曲中。

“每首歌都探索一種不同類型的機(jī)器學(xué)習(xí)模型，它們不一定都是產(chǎn)生音樂的模型。我們的想法是看看如何將不同的機(jī)器學(xué)習(xí)技術(shù)整合到作曲或即興創(chuàng)作中，以一種產(chǎn)生音樂的方式，如果你沒有嘗試將這些機(jī)器學(xué)習(xí)技術(shù)整合進(jìn)來，就不會產(chǎn)生這樣的音樂?！彼f。

Castro將他的模型與其他模型區(qū)分開來，因?yàn)?strong>這款模型必須接受人工輸入才能操作。對于Castro來說，人的目的—由人的歷史和人性塑造—構(gòu)成藝術(shù)的定義。

“對我來說，問題是’藝術(shù)與否？’真的歸結(jié)為’目的從何而來？’”他說。“我認(rèn)為目前還沒有任何模式有任何目的。這是我把人放進(jìn)去的原因?！?/p>

事實(shí)上，很多音樂家并不排斥AI的介入，反而把它們作為新的靈感。法國搖滾音樂家Mathieu Peudupi（常稱作Lescop）說：“如果沒用人工智能，我永遠(yuǎn)無法創(chuàng)作這些歌曲，它帶領(lǐng)我進(jìn)入了一個(gè)全新的境遇，這就像和樂隊(duì)成員一起創(chuàng)作一樣，雖然我會忽略樂隊(duì)成員大部分的建議，但在這個(gè)世界上哪有聽同伴建議的歌手？