計(jì)算機(jī)視覺與語(yǔ)音處理的交叉增強(qiáng)

跟大家分享一篇非常有意思也很有用的文章，是WACV 2021的錄用論文Visual Speech Enhancement Without A Real Visual Stream。該文研究涉及計(jì)算機(jī)視覺與語(yǔ)音處理的交叉。

論文信息：

作者來(lái)自：印度 IIIT Hyderabad 和英國(guó)巴斯大學(xué)。

語(yǔ)音增強(qiáng)是語(yǔ)音處理的經(jīng)典研究?jī)?nèi)容，以往的語(yǔ)音增強(qiáng)往往只將語(yǔ)音作為輸入信號(hào)，這在現(xiàn)實(shí)世界的嘈雜環(huán)境中往往效果不佳。

近年來(lái)一種視覺輔助的語(yǔ)音增強(qiáng)技術(shù)取得了突破，通過跟蹤視頻中人物口型，可以較好的輔助過濾環(huán)境噪聲。但其需要人物正臉在視頻中，使用場(chǎng)景較為狹窄，畢竟大多數(shù)場(chǎng)景下，沒有人物正臉，甚至沒有視覺信息輔助。

該文學(xué)者指出，實(shí)際上根據(jù)語(yǔ)音進(jìn)行唇語(yǔ)合成已經(jīng)是一個(gè)較為成熟的技術(shù)，在現(xiàn)有框架下，可以直接使用語(yǔ)音信號(hào)本身合成人物口型的視頻，進(jìn)而輔助語(yǔ)音增強(qiáng)。

以下視頻展示了最終語(yǔ)音增強(qiáng)的效果：

該文在多個(gè)數(shù)據(jù)集上取得了SOTA的結(jié)果，并且該技術(shù)可以用于任何語(yǔ)言的語(yǔ)音增強(qiáng)，但由于其中含有視覺生成部分，估計(jì)相比傳統(tǒng)算法時(shí)間開銷較大。作者已經(jīng)開源了代碼，感興趣的朋友可以試一下。

原文標(biāo)題：無(wú)中生有！沒有視覺信號(hào)的視覺語(yǔ)音增強(qiáng)

文章出處：【微信公眾號(hào)：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq