身體的運動可以通過音樂信號進行計算預測嗎？

根據音樂信號預測身體的運動是一個極具挑戰(zhàn)性的計算問題。來自Facebook、斯坦福大學和華盛頓大學的研究人員開發(fā)了一種基于深度學習的方法，該方法可以將樂器的聲音轉換成對骨骼關鍵點的預測，并可以用于制作動畫角色。

鋼琴家在彈奏鋼琴曲時，他們的身體會對音樂產生反應。他們的手指在琴鍵上敲擊，他們揮動手臂在不同的八度音階上演奏。小提琴演奏者用一只手在琴弦上拉弓，另一只手的手指輕觸或撥動琴弦。弓法越快，產生音樂節(jié)奏也越快。

一個有趣的問題是：身體的運動可以通過音樂信號進行計算預測嗎？這是一個極具挑戰(zhàn)性的計算問題。我們需要有一套很好的訓練視頻，需要能夠準確地預測這些視頻中的身體姿勢，然后建立一個能夠找到音樂和身體之間的相關性的算法，以進一步預測運動。

來自Facebook、斯坦福大學和華盛頓大學的研究人員開發(fā)了一種基于深度學習的方法，該方法可以將樂器的聲音轉換成對骨骼關鍵點的預測，并可以用于制作動畫角色。

受唇語預測和視頻對象檢測啟發(fā)

人體動力學是很復雜的，尤其是考慮到學習音頻相關性所需要的質量。傳統(tǒng)上，通過視頻序列（而不是音頻）來預測人體自然運動的最優(yōu)方法是采用實驗室狀態(tài)下拍攝的動作捕捉序列。在我們的場景中，我們需要帶一位鋼琴家到實驗室，在他們的手指和身體關節(jié)處安裝傳感器，然后請他們演奏幾個小時。

這種方法在實踐中很難執(zhí)行，也不容易推廣。如果我們能夠利用優(yōu)秀鋼琴家演奏的公開視頻，我們就有可能在數(shù)據上實現(xiàn)更高程度的多樣性。但直到最近，從視頻中準確地估計身體姿勢才成為可能。今年出現(xiàn)了幾種方法，可以讓我們從“自然狀態(tài)下”的數(shù)據中學習。

此外，有一些方法顯示出預測唇語的顯著結果。也就是說，給定一個人說話的音頻，他們可以預測出這個人說話時嘴唇的運動。

這兩個方向取得的進步啟發(fā)了我們，我們試圖去解決僅僅從音樂中預測身體和手指運動的挑戰(zhàn)。這篇論文的目標是探索是否有可能，以及我們是否能從音頻中創(chuàng)造出自然和符合邏輯的身體運動。注意，我們沒有使用MIDI文件之類的信息，而是試圖了解鋼琴琴鍵和音樂之間的關系。我們專注于創(chuàng)造一個能像鋼琴家那樣運動他的手和手指的角色（avatar）。

我們考慮了兩組數(shù)據，鋼琴和小提琴獨奏(如圖3)。我們分別收集了這兩類音樂的視頻，通過視頻每一幀里的上半身和手指來處理視頻。每一幀共50個關鍵點，其中21個點表示每只手的手指，8個點表示上半身。

圖3：訓練數(shù)據

除了預測點之外，我們的另一個目標是通過動畫形象的方式來可視化這些點，讓動畫人物根據給定的音頻輸入自主活動。為了解決這個問題，我們提出兩個步驟。首先，構建一個長短期記憶(LSTM)網絡，學習音頻特征和身體骨架界標（body skeleton landmarks）之間的相關性。其次，我們使用預測的landmark自動給一個動畫形象賦予生命。最后的輸出是能根據音頻輸入活動的動畫人物。

關鍵點估計

我們對兩種關鍵點感興趣：身體和手指。通常情況下，由于相機、燈光和快速運動產生的巨大變化，在自然的視頻中估計關鍵點的估計是具有挑戰(zhàn)性的。不過，最近出現(xiàn)了許多方法可以更好地處理自然的視頻。

我們獲取相對精確的關鍵點的過程如下：

我們首先通過三個庫來運行視頻：提供臉部、身體和手的關鍵點的OpenPose，MaskRCNN，以及人臉識別算法DeepFace。這三個庫在基準測試上表現(xiàn)很好，但是在我們的視頻中，它們在某些幀上會失敗。

圖4：在預處理步驟中自動刪除的關鍵點檢測器的失敗案例

從音頻到身體關鍵點的預測

我們的目標是學習音頻特征和身體運動之間的關聯(lián)性。為此，我們構建了一個LSTM（長短期記憶）網絡。架構如圖5所示：

圖5：關鍵點預測LSTM的架構。表示音頻特征，表示相應的關鍵點。

我們選擇使用具有時間延遲的單向的單層LSTM。表示在特定時間i的音頻MFCC，表示身體關鍵點的PCA系數(shù)，m表示memory。我們還添加了一個完全連接層“fc”，發(fā)現(xiàn)它可以提高性能。

我們進行了300 epochs的訓練。該網絡在Caffe2上實現(xiàn)，并使用ADAM優(yōu)化器。輸入和輸出都是通過減去平均值并除以方差而歸一化的。

圖6：第一個PCA mode（piano）

從身體關鍵點到動畫形象

當身體的關鍵點預估出來后，我們用一個動畫形象來使用這些點。我們使用ARkit構建了一個增強現(xiàn)實應用程序，它可以在手機上實時運行。給定一系列2D預測點和身體的動畫化身，動作便被應用到化身上。我們使用的化身是帶有人體骨骼裝置的3D人體模型。

實驗

評估：

我們在網絡中嘗試了不同的參數(shù)選擇，并在表1和表2中提供了比較。為了找到最優(yōu)參數(shù)，我們進行了超參數(shù)搜索。表中的誤差以像素表示，越低越好。

為了獲得好的結果，過濾掉訓練數(shù)據中的所有糟糕的幀（錯誤的骨架、錯誤的人體檢測、錯誤的人體識別）是很重要的?？梢钥吹?，只要過濾掉壞數(shù)據，誤差就會顯著減少。

通過使用較少的PCA系數(shù)，可以更好地適應訓練數(shù)據，但測試誤差大于使用較多的系數(shù)。在我們的案例中，使用dropout并不能改善結果。時間延遲有助于改善結果。

結果：

圖8和圖9給出了有代表性的結果。我們展示了不同身體姿勢的預測關鍵點，以及上下文的原始框架。對于關鍵點，我們將它們疊加在groud truth點上進行視覺對比。注意，我們并不期望這些點能完全一致，但是手指和手可以產生類似的令人滿意的運動，這是本文的目標。

圖8

圖9

在我們的案例中，groud truth是2D身體姿勢檢測器的結果，這可能是錯誤的。最后，我們在圖12中展示了失敗案例，第一行是鋼琴的，第二行是小提琴的。這些失敗案例表明我們的系統(tǒng)有局限性：目前我們的系統(tǒng)是訓練2D的姿勢，而訓練視頻中的實際姿勢是3D的。因此，被遮擋和看不見的點不能很好地預測。在視頻的高速度和高頻率部分，身體姿態(tài)檢測器可能會產生錯誤，運動模糊也是如此。