支持情感TTS，小愛音箱Art聲學(xué)技術(shù)重磅升級！

近日，小米發(fā)布了小愛音箱Art，這款音箱采用全新的金屬機身，機身揚聲器開孔被設(shè)計成0.7mm厚度的金屬飾板，可謂功能與質(zhì)感兼具。小米小愛音箱Art通過一顆2.5英寸的全頻揚聲器，讓聲音的細(xì)節(jié)呈現(xiàn)得更加自然。

作為小米推出的第9款智能音箱，小米小愛音箱Art在技術(shù)上也全面升級，搭載第三代小愛同學(xué)，并支持情感化語音交互、全屋播放及就近喚醒。通過這款音箱得以看出，小米的聲學(xué)語音技術(shù)已經(jīng)實現(xiàn)全面自研，并在自研部分領(lǐng)域持續(xù)。

情感化語音交互：通過迭代聲學(xué)模型，支持情感TTS

對于智能設(shè)備而言，實現(xiàn)情感化語音交互是一項挑戰(zhàn)?！扒楦小北旧砭褪侵饔^的、多樣的感受，一種情感可以有多種呈現(xiàn)形式，更適合人與人的面對面對話。情感化語音交互對技術(shù)要求較高，要技術(shù)方、數(shù)據(jù)方、質(zhì)檢方等多方對情感濃度、情感詮釋方式等標(biāo)準(zhǔn)達(dá)成共識，將較主觀的情感音素統(tǒng)一化、標(biāo)準(zhǔn)化。

隨著人工智能技術(shù)的發(fā)展，在實現(xiàn)人機對話的基礎(chǔ)上，各大廠商都在情感化語音交互的領(lǐng)域探索。為了讓機器加入情感元素，小米AI實驗室在“情感數(shù)據(jù)量有限”的前提下，通過不同聲學(xué)模型、不同聲碼器組合最終上線自然、擬人效果的情感TTS，成為業(yè)內(nèi)首 家情感化TTS大規(guī)模落地的企業(yè)。

通過小米AI實驗室的不斷深耕，此次小米小愛同學(xué)Art全面支持情感化語音交互，基于有限但類型不同的情感音頻數(shù)據(jù)（如開心、關(guān)心、害羞、驚訝等），通過不同技術(shù)訓(xùn)練并迭代聲學(xué)模型，最終支持情感TTS合成并實現(xiàn)“小愛同學(xué)”音感化、擬人化。

未來，小米語音將升級此技術(shù)——支持情感TTS實時合成。從下圖中可以看出，在大數(shù)據(jù)集的預(yù)訓(xùn)練模型基礎(chǔ)上，利用目標(biāo)說話人的中性情感數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行微調(diào)，得到目標(biāo)說話人的中性情感模型;在此基礎(chǔ)上用帶情感的小批量數(shù)據(jù)對模型進(jìn)一步微調(diào)，最終得到不同情感的模型，最終實現(xiàn)情感合成。

在國內(nèi)語音助手行業(yè)中，小米首 次實現(xiàn)情感化TTS的大規(guī)模落地，未來將打造情感更加豐富的“小愛同學(xué)”，為用戶提供多元化的語音交互體驗，為IoT設(shè)備增加更豐富更立體更逼真的語音交互體驗。

語音支持全屋播放：立體聲組合同步播放相同音頻

小米小愛音箱Art，是首 款可以實現(xiàn)語音支持全屋播放的設(shè)備。用戶直接對小愛同學(xué)說“全屋播放XX”，無需提前在App端進(jìn)行手動設(shè)置，即可實現(xiàn)一句話語音交互，為用戶提供了更便捷的使用方式。

要實現(xiàn)這一功能，音箱需要具備AIoT放音的技術(shù)。小米AIoT放音的自研技術(shù)在攻克無線網(wǎng)絡(luò)抖動、晶振時鐘漂移以及弱網(wǎng)下數(shù)據(jù)不可達(dá)等一系列技術(shù)難題后，將不同音箱播放聲音的同步優(yōu)化到微秒級別，同時還實現(xiàn)了在不同型號的音箱之間的數(shù)據(jù)同步，提供更細(xì)膩的音質(zhì)和寬廣的聲像。

立體聲支持APP創(chuàng)建組網(wǎng)，才能進(jìn)行語音指令和APP操作播放，全屋播放同時支持語音指令和APP創(chuàng)建組網(wǎng)。

立體聲功能同時支持語音指令和app操作播放，云端音頻流下發(fā)至音箱A，音箱A將立體聲分離為左右聲道，音箱A自己播放左聲道音頻并將右聲道音頻流下發(fā)給音箱B，由B音箱播放右聲道，精準(zhǔn)的同步技術(shù)保證音箱A和B同時播放立體聲的左右聲道音頻。全屋播放功能支持語音指令和app創(chuàng)建組網(wǎng)，音頻流下發(fā)至音箱C，音箱C將音頻流混合為單聲道信號并下發(fā)給組內(nèi)其他的音箱設(shè)備同時播放，不區(qū)分聲道，可支持多個設(shè)備。

就近喚醒全面升級：實現(xiàn)跨設(shè)備關(guān)閉鬧鐘

早在2018年，小米音箱系列就上線了就近喚醒功能。值得一提的是，此次小米小愛音箱Art就近喚醒全新升級，可支持跨設(shè)備關(guān)閉鬧鐘。遠(yuǎn)處的音箱鬧鐘響了，喚醒近處的音箱可以直接關(guān)閉遠(yuǎn)處的鬧鐘。此功能在業(yè)內(nèi)首 次上線，小米小愛音箱Art也是首 款支持該功能的產(chǎn)品。

說到就近喚醒，小米早在2018年就上線這一功能，截止2020年4月28日，分布式就近喚醒已為多設(shè)備用戶累計避免約6.82億次設(shè)備同時喚醒，準(zhǔn)確率達(dá)到98%。近期首 發(fā)上線了端云多維度結(jié)合的就近喚醒綜合決策策略，深入加強多設(shè)備狀態(tài)信息聯(lián)動，智能判決空間信息，進(jìn)一步提升了家庭復(fù)雜網(wǎng)絡(luò)環(huán)境的兼容性，同時做到了多設(shè)備響應(yīng)的唯一執(zhí)行，大幅提升用戶體驗。

未來，小米將專注于家居復(fù)雜場景應(yīng)用、智能聲學(xué)感知和多傳感融合。在復(fù)雜的家庭結(jié)構(gòu)環(huán)境中，保證算法的可用性，讓每個設(shè)備主動感知所處的不同環(huán)境，根據(jù)環(huán)境完成算法自適應(yīng)，將數(shù)據(jù)結(jié)果取長補短，相互融合，實現(xiàn)多維度智能感知。

兩麥陣列喚醒：兩麥盲源分離降噪前端，雙級喚醒策略支撐

小米小愛音箱Art同步支持兩麥陣列喚醒技術(shù)。在麥克風(fēng)陣列方面，小米采用兩麥盲源分離降噪前端，通過盲源分離、降噪、回聲消除等技術(shù)，在多聲源的嘈雜環(huán)境、音箱自身播放音樂時，都能結(jié)合語音增強技術(shù)，消除噪音的強干擾，獲得干凈、準(zhǔn)確的人聲音頻。

在喚醒方面，為了兼顧低功耗與高性能，自研語音喚醒算法采用雙級喚醒策略。低功耗待機喚醒詞檢測模型，利用子采樣與共享隱含層等技術(shù)，減少模型資源消耗的同時保證召回率在一個較高的水平。高性能誤喚醒檢測模型，采用粗粒度建模單元，結(jié)合局部信息與長時上下文信息，高效抑制誤喚醒。通過從海量數(shù)據(jù)中自動挖掘高區(qū)分度訓(xùn)練樣本，再經(jīng)過數(shù)據(jù)擴充技術(shù)，提高喚醒模型在低信噪比與小音量場景下的魯棒性。

小米AI實驗室語音產(chǎn)品負(fù)責(zé)人陳君宇表示，小米IoT平臺連接的智能硬件數(shù)已達(dá)到2.5億臺，音箱出貨量已經(jīng)達(dá)到2200萬臺，在這么大的用戶體量下，如何讓基礎(chǔ)體驗持續(xù)提升，且提升產(chǎn)品在AI體驗上的創(chuàng)新性，對自研AI團(tuán)隊來說是非常重要的使命。

小米一直致力于研發(fā)先進(jìn)的AI技術(shù)，并將技術(shù)落地到產(chǎn)品及業(yè)務(wù)，為用戶帶來更好的產(chǎn)品體驗，讓全球每一個人都能享受科技帶來的美好生活。