動(dòng)漫《名偵探柯南》里面,柯南有個(gè)變聲蝴蝶結(jié),有了這個(gè)變聲器,柯南可以模仿任何人的聲音,從而隱藏自己的身份,這個(gè)變聲蝴蝶結(jié)就用到了語(yǔ)音轉(zhuǎn)換。
思必馳最新推出語(yǔ)音轉(zhuǎn)換技術(shù),基于深度學(xué)習(xí)及高質(zhì)量聲碼器,在保留說(shuō)話人原始語(yǔ)音內(nèi)容的同時(shí),可以將說(shuō)話人的音色轉(zhuǎn)換為指定說(shuō)話人的音色,同時(shí),可保留原說(shuō)話人的語(yǔ)速、頻率、情感等風(fēng)格特色,還支持英語(yǔ)、日語(yǔ)等多語(yǔ)言轉(zhuǎn)換。目前,該技術(shù)可應(yīng)用于視頻配音、游戲娛樂(lè)、人工客服等場(chǎng)景。
語(yǔ)音轉(zhuǎn)換(Voice Conversion, VC)即在保留語(yǔ)音內(nèi)容的同時(shí),將原說(shuō)話人的音色轉(zhuǎn)換成指定說(shuō)話人的音色。在傳統(tǒng)變聲工具中,基于語(yǔ)音信號(hào)處理技術(shù),可將個(gè)人音色轉(zhuǎn)換為大叔音、蘿莉音等音色,但此時(shí)的變聲比較單一,僅僅是對(duì)音色進(jìn)行改變,不能進(jìn)行跨語(yǔ)言、多情感風(fēng)格的轉(zhuǎn)換,轉(zhuǎn)換效果較為機(jī)械。
隨著技術(shù)的不斷發(fā)展,語(yǔ)音轉(zhuǎn)換效果實(shí)現(xiàn)了從音色轉(zhuǎn)換到情感風(fēng)格轉(zhuǎn)換的進(jìn)步。近期,思必馳推出的聲音轉(zhuǎn)換技術(shù)具有情感轉(zhuǎn)換、多語(yǔ)言轉(zhuǎn)換、“千人單音”的特點(diǎn)。
(1)支持情感轉(zhuǎn)換
在實(shí)際場(chǎng)景中,人類的語(yǔ)音會(huì)隨著心情變化而發(fā)生語(yǔ)調(diào)變化,此時(shí)就需要聲音轉(zhuǎn)換技術(shù)對(duì)說(shuō)話人的情感也能做出完美還原。目前,思必馳聲音轉(zhuǎn)換技術(shù)支持開(kāi)心、沮喪、生氣等情感的轉(zhuǎn)換。
(2)支持多語(yǔ)言轉(zhuǎn)換
思必馳語(yǔ)音轉(zhuǎn)換技術(shù)不僅支持中文轉(zhuǎn)換,還支持英語(yǔ)、日語(yǔ)轉(zhuǎn)換,滿足用戶多語(yǔ)言需求。
(3)超高還原度,“千人單音”
思必馳聲音轉(zhuǎn)換技術(shù)可對(duì)音色進(jìn)行高度還原,不論原始音色如何,都可以轉(zhuǎn)換為指定音色,做到“千人單音”。
思必馳語(yǔ)音轉(zhuǎn)換技術(shù)之所以能做到多風(fēng)格、多語(yǔ)言的轉(zhuǎn)換,主要運(yùn)用到了深度學(xué)習(xí)、音色分離、高質(zhì)量聲碼器等技術(shù)。聲音轉(zhuǎn)換模型由聲學(xué)模型和聲碼器組成,聲學(xué)模型通過(guò)內(nèi)容編碼器從錄音中提取出發(fā)音內(nèi)容、韻律、情感、風(fēng)格,并通過(guò)音色編碼器從目標(biāo)角色音頻中提取出音色特征,最后通過(guò)聲碼器轉(zhuǎn)換為目標(biāo)角色聲音。
思必馳聲音轉(zhuǎn)換技術(shù)服務(wù)將支持云端在線服務(wù)及本地部署,在視頻配音、人工客服、直播互動(dòng)、游戲娛樂(lè)等領(lǐng)域有很大落地空間。
在動(dòng)漫配音領(lǐng)域,動(dòng)漫IP往往有固定的配音人員,有了聲音轉(zhuǎn)換技術(shù)以后,不同的配音人員均可以為該IP進(jìn)行配音,避免因工作人員調(diào)動(dòng)產(chǎn)生前后配音不一致的情況;在人工客服場(chǎng)景中,好聽(tīng)的聲音往往更能打動(dòng)消費(fèi)者,通過(guò)聲音轉(zhuǎn)換技術(shù),“甜美客服”不再一“聲”難求。在日益發(fā)達(dá)的短視頻領(lǐng)域,博主可通過(guò)聲音轉(zhuǎn)換技術(shù)為短視頻配上具有特色的音頻解說(shuō)。
除語(yǔ)音轉(zhuǎn)換外,思必馳在聲音復(fù)刻、情感合成、“單人千音”等全鏈路語(yǔ)音交互技術(shù)上碩果累累,為智能語(yǔ)音的場(chǎng)景落地提供了多樣化的選擇。
思必馳語(yǔ)音技術(shù)
1.思必馳DUI平臺(tái)上線“單人千音”,各地方言AI隨心切換
2.聲音“克隆”要多久??jī)H需一句話,快速?gòu)?fù)刻你的聲音
3.思必馳情感語(yǔ)音合成“以聲傳情”,讓機(jī)器人表達(dá)更有溫度
4.1024程序員節(jié)丨點(diǎn)擊接收24K高保真祝福
5.語(yǔ)音編輯,讓智能播報(bào)更自然,思必馳TTS技術(shù)上新第一更!
6.思必馳發(fā)音人音色定制平臺(tái),快來(lái)PICK你最愛(ài)的音色!
未來(lái),思必馳將基于DFM-2大模型,結(jié)合全鏈路語(yǔ)音交互技術(shù)進(jìn)行技術(shù)聯(lián)動(dòng),推動(dòng)智能語(yǔ)音在各個(gè)領(lǐng)域的落地,助力產(chǎn)業(yè)數(shù)智化轉(zhuǎn)型。
-
語(yǔ)音
+關(guān)注
關(guān)注
3文章
381瀏覽量
37973 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5463瀏覽量
120890 -
思必馳
+關(guān)注
關(guān)注
4文章
276瀏覽量
14263
原文標(biāo)題:語(yǔ)音轉(zhuǎn)換,自由切換你的聲音,思必馳語(yǔ)音技術(shù)上新第二更!
文章出處:【微信號(hào):思必馳,微信公眾號(hào):思必馳】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論