使用R語(yǔ)言分析告示牌百?gòu)?qiáng)單曲榜上的歌曲特征

編者按：數(shù)據(jù)科學(xué)家Rosebud Anwuri使用R語(yǔ)言分析了告示牌百?gòu)?qiáng)單曲榜上的歌曲特征，以揭示過去60年來(lái)流行音樂的演變。

你從“年長(zhǎng)者”那里最常聽到的關(guān)于現(xiàn)代流行樂的看法是什么？一般來(lái)說是這個(gè)：“你們的音樂太吵了，缺乏內(nèi)容?！彼麄兿矚g談?wù)摗肮旁纭蹦甏幸饬x的歌曲，有靈魂的歌手，催人淚下的低音吉他。

這兩者差別很大。然而，需要進(jìn)行一些數(shù)據(jù)分析才能得出一般結(jié)論。作為千禧一代和數(shù)據(jù)科學(xué)家，我對(duì)此很感興趣?！皞ゴ蟆钡囊魳返臉?biāo)準(zhǔn)真改變了那么多？是聲音、歌詞還是“消息”改變了？如果它們改變了，它們具體是如何改變的？

我將使用告示牌百?gòu)?qiáng)單曲榜（Billboard's Hot 100）和Spotify的API作為數(shù)據(jù)來(lái)源，仔細(xì)查看流行音樂在過去六十年來(lái)的變化，并找出現(xiàn)在的流行音樂和以前的不同之處。

我的方法

在本文中，我所說的“偉大音樂”指進(jìn)入告示牌百?gòu)?qiáng)單曲榜的音樂。我在GitHub上找到了相應(yīng)的數(shù)據(jù)集kevinschaich/billboard-top-100-lyrics。這一數(shù)據(jù)集中包含許多有趣的特征，例如情感（Sentiment）、迷霧指數(shù)（估計(jì)在第一遍閱讀時(shí)理解文本所需的正式教育年限）、單詞數(shù)、重復(fù)單詞/詞組數(shù)。 此外，Spotify的API提供了一個(gè)有趣的接口getaudiofeatures，其中提供了很多音樂特征，例如響度、樂器性（使用樂器的程度）、活力、現(xiàn)場(chǎng)性（現(xiàn)場(chǎng)是否有觀眾）、語(yǔ)音性、時(shí)長(zhǎng)等。加上這些，我收集的1950年到2015年的告示牌百?gòu)?qiáng)單曲，總共有30項(xiàng)特征。

這些特征的描述可以在GitHub倉(cāng)庫(kù)的README文件和Spotify的API文檔中查到，我也會(huì)在后文解釋其中的部分特征。

我最初決定在這個(gè)項(xiàng)目中使用Python，某種程度上說，我確實(shí)用了Python。在我數(shù)據(jù)收集的第一次迭代的時(shí)候，我使用了Python的pandas和spotipy這兩個(gè)庫(kù)。

然而，隨著項(xiàng)目的進(jìn)行，我重新審視了我所用的方法，找到了一個(gè)更有趣的數(shù)據(jù)集。為此，我轉(zhuǎn)而使用R來(lái)完成這一項(xiàng)目，主要是因?yàn)镽提供的tidyr::gather()函數(shù)（用pandas合并數(shù)據(jù)真是讓我心煩意亂）。

我用R和Python寫的代碼，以及我最終整理的數(shù)據(jù)集，均可通過GitHub訪問：RosebudAnwuri/TheArtandScienceofData/The Making of Great Music 和我的其他項(xiàng)目相比，我在收集數(shù)據(jù)方面花的時(shí)間很少，這是因?yàn)?，和我的其他?xiàng)目不同，有人花時(shí)間準(zhǔn)備了可以直接使用的數(shù)據(jù)集。我之所以分享整理的數(shù)據(jù)集，同樣也是希望能為其他人提供方便。

讓我們開始吧！

1. 六十年來(lái)的主要變化

通過聚類算法，我們可以根據(jù)歌曲的特征找到音樂家及其作品的相似性/聚類。

我們找到了兩個(gè)藝術(shù)家聚類——弦樂愛好者（The String Lovers）和詩(shī)論家（The Poetics）。這兩個(gè)名稱的由來(lái)是影響聚類的最重要因素：樂器性（Instrumentalness）和語(yǔ)音性（Speechiness）。

弦樂愛好者的樂器性數(shù)值高，而語(yǔ)音性數(shù)值低。這意味著，這一階段的藝術(shù)家相比語(yǔ)言，更傾向于樂器。

詩(shī)論家正好與此相反。

大部分弦樂愛好者出現(xiàn)在上世紀(jì)90年代前的百?gòu)?qiáng)榜上。

大部分詩(shī)論家出現(xiàn)在上世紀(jì)90年代后的百?gòu)?qiáng)榜上。

上世紀(jì)90年代看起來(lái)是一個(gè)關(guān)鍵時(shí)期。如我們所見，弦樂愛好者和詩(shī)論家這兩個(gè)聚類在上世紀(jì)90年代幾乎平分秋色。

2. 樂器使用下降主要是因?yàn)閾u滾樂隊(duì)不再流行

在上世紀(jì)60年代后期到21世紀(jì)早期，樂隊(duì)極為流行，數(shù)量和單獨(dú)的藝術(shù)家一樣多。

在21世紀(jì)之前，對(duì)每一年而言，樂隊(duì)數(shù)量越多，當(dāng)年的平均樂器性的數(shù)值就越高。

然而，在21世紀(jì)以來(lái)，樂隊(duì)數(shù)對(duì)樂器的使用基本上毫無(wú)影響。

除了兩個(gè)離散值，從上圖我們可以看到，樂隊(duì)數(shù)和樂器使用沒什么關(guān)系。這很有趣，因?yàn)檎缥抑疤岬竭^的，在21世紀(jì)早期，樂隊(duì)仍然很流行。

所以，發(fā)生了什么？

我相信你已經(jīng)猜到了。樂隊(duì)的類型變化了。

在上世紀(jì)90年代之前，大約60%的樂隊(duì)是搖滾樂隊(duì)——典型的搖滾樂隊(duì)由一名主唱和一組樂器手組成。

然而，21世紀(jì)以來(lái)，搖滾樂隊(duì)的百分比顯著下降了，為流行樂隊(duì)（Pop bands）騰出了空間，流行樂隊(duì)通常完全由歌手組成，例如天命真女（Destiny's Child）、小野貓（Pussycat Dolls）、五美（Fifth Harmony）、單向（One Direction）。

3. 詩(shī)論家聚群的興盛也許部分歸因于嘻哈的興起

除了語(yǔ)音值的提升（用詞的增加），詩(shī)論家聚群使用復(fù)合詞的幾率是弦樂愛好者聚群的兩倍以上（例如，Jay-Z喜歡用opulence而不是wealth），用詞的音節(jié)數(shù)也更多。這讓我們馬上聯(lián)想到了一種音樂流派：嘻哈（Hip-Hop）。

我們看到，嘻哈在上圖的四項(xiàng)統(tǒng)計(jì)中均排第一，難怪嘻哈在上世紀(jì)90年代成為主流流行樂——和詩(shī)論家聚群的興盛相呼應(yīng)。

4. 盡管音樂風(fēng)格大變，過去六十年流行歌曲的主題始終是愛情

我使用主題建模算法得出了這一結(jié)論。顧名思義，該算法搜索給定文本的主題。

在我們的例子中，文本為告示牌百?gòu)?qiáng)單曲的歌詞。

讓我們看看主題是如何隨著年代而改變的：

乍看起來(lái)，主題和風(fēng)格一樣，都在上世紀(jì)90年代發(fā)生了交替。然而，讓我們看看這兩個(gè)主題（Topic 1和Topic 2）的具體內(nèi)容：

我們看到，這兩個(gè)主題其實(shí)大同小異。過去60年的百?gòu)?qiáng)單曲，大部分都是“Yeah, I love my baby”（耶！我愛我的寶貝?。?/p>

主要的差別在于，上世紀(jì)90年代之前的歌曲可能更“直接”一點(diǎn)，正如你在上圖中看到的“gonna”（將要）。而上世紀(jì)90年代之后的歌曲看起來(lái)要間接一點(diǎn)，用“wanna”（想要）取代了“gonna”（將要）。

比較“安靜”的流派在詩(shī)論家時(shí)代絕跡了

這多多少少確認(rèn)了我們比以前更偏愛大聲的音樂。

各個(gè)流派的平均響度

五個(gè)最安靜的流派是——爵士（Jazz）、搖擺樂（Swing）、民謠（Folk）、藍(lán)調(diào)（Blues）、迪斯科（Disco）。

在詩(shī)論家時(shí)代，這些流派在百?gòu)?qiáng)榜上絕跡了，除了爵士樂還靠Norah Jones勉強(qiáng)存活。

這些意味著什么？

總結(jié)一下：

上世紀(jì)90年代是流行音樂極其重要的時(shí)期。

今日流行樂的形態(tài)，與搖滾樂隊(duì)的衰弱和嘻哈的興起有很大關(guān)系。

過去六十年來(lái)，愛情是流行樂永恒的主題，不過不同時(shí)期的音樂對(duì)這一主題的演繹有一些微妙的不同。

是的，現(xiàn)代藝術(shù)家可能更大聲，但這是因?yàn)槲覀冇性捯f :)

獎(jiǎng)勵(lì)邁克爾·杰克遜，盡管主要活躍于上世紀(jì)80年代，屬于詩(shī)論家聚群！他領(lǐng)先了時(shí)代！

結(jié)語(yǔ)

為了更好地演示這個(gè)項(xiàng)目的數(shù)據(jù)，我基于chart.js創(chuàng)建了一個(gè)面板

http://bit.ly/music-dashboard

目前我還沒有做好移動(dòng)端適配，所以推薦在電腦上使用。

現(xiàn)在這個(gè)面板有兩個(gè)標(biāo)簽頁(yè)，第一個(gè)藝術(shù)家標(biāo)簽頁(yè)（Artist Dashboard）可以讓你查看藝術(shù)家的歌曲特征的平均值。

第二個(gè)對(duì)比標(biāo)簽頁(yè)（Comparison Dashboard）可以讓你比較2-3位藝術(shù)家的歌曲特征。

我所說的詩(shī)論家時(shí)代正是當(dāng)前的時(shí)代，因此如果我們有2016年到2018年的數(shù)據(jù)（特別是陷阱音樂的興起），上面的有些見解可能會(huì)改變。不過，我認(rèn)為大體上不會(huì)有太大的變動(dòng)。

評(píng)測(cè)歌曲的“政治覺悟”（politically-aware）會(huì)很有意思。我可能會(huì)在Twitter上（@RosebudAnwuri）發(fā)布這一結(jié)果。

我在創(chuàng)建這個(gè)項(xiàng)目的時(shí)候獲得了很多樂趣，我希望你閱讀的時(shí)候也獲得了同樣的樂趣。