一種神經(jīng)語音克隆系統(tǒng)兩種方法在自然性和相似性方面表現(xiàn)良好

近日，百度研究者發(fā)表論文，利用兩種方法，只需少量樣本就能在幾秒鐘內(nèi)合成自然且相似度極高的語音。近些年關(guān)于高質(zhì)量的語音合成方法確實(shí)不少，但能在如此短時(shí)間內(nèi)完成的卻實(shí)屬罕見。

聲音克隆是個(gè)性化語音交互領(lǐng)域高度理想化的功能，基于神經(jīng)網(wǎng)絡(luò)的語音合成系統(tǒng)已經(jīng)可以為大量發(fā)言者生成高質(zhì)量語音了。在這篇論文中，百度的研究人員向我們介紹了一種神經(jīng)語音克隆系統(tǒng)，只需要輸入少量的語音樣本，就能合成逼真的語音。這里研究了兩種方法：說話者適應(yīng)（speaker adaptation）和說話者編碼（speaker encoding），最終結(jié)果表明兩種方法在語音的自然性和相似性方面都表現(xiàn)良好。

由于研究者要從有限且陌生的語音樣本中進(jìn)行語音克隆，這就相當(dāng)于一個(gè)“語音在特定語境下的few-shot生成建模”問題。若樣本充足，為任何目標(biāo)說話者訓(xùn)練生成模型都不在話下。不過，few-shot生成模型雖然聽起來很吸引人，但卻是個(gè)挑戰(zhàn)。生成模型需要通過少量的信息學(xué)習(xí)說話者的特征，然后還要生成全新的語音。

語音克隆

我們計(jì)劃設(shè)計(jì)一個(gè)多說話者生成模型（multi-speaker generative model）：f(ti,j,si; W,esi)，ti表示文本，si表示說話者。模型以W進(jìn)行參數(shù)化，作為編碼器和解碼器的訓(xùn)練參數(shù)。esi是對(duì)應(yīng)到si的可訓(xùn)練說話者嵌入。W和esi均通過最小化損失函數(shù)L進(jìn)行優(yōu)化，損失函數(shù)L對(duì)生成音頻和真視音頻之間的差異進(jìn)行懲罰。

這里S是一組說話者，Tsi是為si準(zhǔn)備的文字-音頻訓(xùn)練集，ai和j是ti和j的真實(shí)音頻。期望值是通過所有訓(xùn)練說話者的文本-音頻對(duì)來估計(jì)的。

在語音克隆中，實(shí)驗(yàn)的目的是從一組克隆音頻Ask中提取出sk的聲音特征，并且用該聲音生成不一樣的音頻。衡量生成結(jié)果的標(biāo)準(zhǔn)有二：

看語音是否自然；

看生成的語音與原音頻是否相似。

下圖總結(jié)了說話者適應(yīng)和說話者編碼兩種方法的語音克隆方法：

說話者適應(yīng)運(yùn)用的是梯度下降原理，利用少數(shù)音頻和對(duì)應(yīng)的文本對(duì)多語音模型進(jìn)行微調(diào)，微調(diào)可以用于說話者嵌入或整個(gè)模型。

而說話者編碼的方法是從說話者的音頻樣本中估計(jì)說話者嵌入。這種模式并不需要在語音克隆的過程中進(jìn)行微調(diào)，因此它可以用于任何未知的說話者。

說話者編碼器結(jié)構(gòu)

語音克隆評(píng)估

語音克隆的結(jié)果可以通過眾包平臺(tái)經(jīng)過人類進(jìn)行評(píng)估，但是這樣的模型開發(fā)過程是非常緩慢且昂貴的。研究人員利用判別模型提出了兩種評(píng)估方法。

1.說話者分類（Speaker Classification）

說話者分類器決定音頻樣本的來源。對(duì)于語音克隆評(píng)估，說話者分類器可以在用于克隆的語音上進(jìn)行訓(xùn)練。高質(zhì)量的語音克隆有助于提高分類器的精確度。

2.說話者驗(yàn)證（Speaker Verification）

說話者驗(yàn)證是用來檢測(cè)語音的相似性，具體來說，它利用二元分類識(shí)別測(cè)試音頻和生成音頻是否來自同一說話者。

實(shí)驗(yàn)過程

我們對(duì)比了兩種方法（說話者適應(yīng)和說話者編碼）在語音克隆上的表現(xiàn)。對(duì)說話者適應(yīng)，我們訓(xùn)練了一個(gè)生成模型，讓其通過微調(diào)達(dá)到目標(biāo)說話者的水平。對(duì)說話者編碼，我們訓(xùn)練了一個(gè)多說話者生成模型和一個(gè)說話者編碼器，將嵌入輸入到多說話者生成模型中生成目標(biāo)語音。

兩種方法訓(xùn)練的數(shù)據(jù)集是LibriSpeech，該數(shù)據(jù)集包含2484個(gè)樣本音頻，總時(shí)長(zhǎng)約820小時(shí)，16KHz。LibriSpeech是一個(gè)用于自動(dòng)語音識(shí)別的數(shù)據(jù)集，它的音頻質(zhì)量比語音合成的數(shù)據(jù)集低。語音克隆是在VCTK數(shù)據(jù)集上進(jìn)行的，其中包括了108種不同口音、以英語為母語的音頻。為了與LibriSpeech保持一致，VCTK中的音頻樣本被壓縮為16KHz。

下圖總結(jié)了不同的方法在語音克隆上的表現(xiàn)：

說話者適應(yīng)和說話者編碼在語音克隆上的不同需求。假設(shè)都在Titan X上進(jìn)行

對(duì)于說話者適應(yīng)的方法，下圖表現(xiàn)了分類精確度與迭代時(shí)間的結(jié)果：

不同克隆樣本數(shù)量和微調(diào)次數(shù)的關(guān)系圖

說話者適應(yīng)和說話者編碼在不同克隆樣本下的分類精度對(duì)比

不同克隆樣本數(shù)量下，說話者驗(yàn)證上的同等錯(cuò)誤率（EER）

下面兩個(gè)表顯示了人類評(píng)估的結(jié)果，這兩個(gè)結(jié)果都表明克隆音頻越多，說話者適應(yīng)的方法越好。

結(jié)語

研究人員通過兩種方法，證明了他們可以用較少的聲音樣本生成自然、相似的新音頻。他們相信，語音克隆在未來依然有改善的前景。隨著元學(xué)習(xí)的進(jìn)展，這一領(lǐng)域?qū)⒌玫接行У奶岣撸?，可以通過將說話者適應(yīng)或編碼這兩種方法整合到訓(xùn)練中，或者通過比說話者嵌入更靈活的方式來推斷模型權(quán)重。