Build 2024發(fā)布多項(xiàng)Azure AI Speech全新多模態(tài)功能

客戶們持續(xù)使用 Azure OpenAI 和 Azure AI Speech 進(jìn)行創(chuàng)新，為企業(yè)引入新的效率，并構(gòu)建新的多模態(tài)體驗(yàn)。Azure AI，我們持續(xù)與客戶合作，并將新的創(chuàng)新推向市場(chǎng)——我們看到了各種用例，包括通話分析、醫(yī)療轉(zhuǎn)錄、字幕、聊天機(jī)器人等。

以下是我們?cè)诮衲?Microsoft Build 大會(huì)上宣布的所有多模態(tài)創(chuàng)新，特別是包括語(yǔ)音和文本的創(chuàng)新。

語(yǔ)音分析

今天我們宣布預(yù)覽版的語(yǔ)音分析服務(wù)。語(yǔ)音分析是 Azure AI Studio 中的一項(xiàng)新服務(wù)，它結(jié)合了 Azure AI 服務(wù)和 PromptFlow，只需將音頻數(shù)據(jù)上傳到云存儲(chǔ)，就可以自動(dòng)處理和分析。

通過(guò)語(yǔ)音分析，可以輕松獲取呼叫中心對(duì)話的見解，或使用 Azure OpenAI 和 Azure AI Language 的 AI 模型從 Azure AI Speech 生成的準(zhǔn)確轉(zhuǎn)錄中提取對(duì)話摘要。從呼叫中心對(duì)話中獲取見解可以幫助企業(yè)更好地理解客戶需求、產(chǎn)品反饋和支持趨勢(shì)，從而改善客戶體驗(yàn)。

使用我們的post-call 分析模板，客戶可以快速設(shè)置提取常見的見解，如呼叫摘要、客戶情緒和關(guān)鍵主題?？蛻暨€可以輕松修改默認(rèn)提示，以提取更多見解，甚至修改完整的提示流程，以全面定制分析，提取廣泛的信息，如討論要點(diǎn)，甚至預(yù)測(cè)可能的對(duì)話流程。語(yǔ)音分析還可以輕松支持多種語(yǔ)言、口音、領(lǐng)域和場(chǎng)景，并擴(kuò)展到大規(guī)模生產(chǎn)使用。語(yǔ)音分析幫助我們的客戶獲取客戶對(duì)話的見解，改善客戶體驗(yàn)、銷售和營(yíng)銷策略。這也是多模態(tài)數(shù)據(jù)分析的一個(gè)基礎(chǔ)，未來(lái)將能夠從不同類型的數(shù)據(jù)中獲得更豐富和更深入的見解。

以下是Speech Processing Solutions（飛利浦聽寫）使用 Azure AI 服務(wù)（包括語(yǔ)音分析）構(gòu)建的一套示例技術(shù)：

語(yǔ)音分析將于 6 月供開發(fā)者試用。想了解更多信息，請(qǐng)?jiān)?strong>Azure AI Studio中試用。

快速轉(zhuǎn)錄

今天我們還宣布預(yù)覽版的快速轉(zhuǎn)錄API。該 API 是 Azure AI Speech 系列的一部分，通過(guò)簡(jiǎn)單的 REST 調(diào)用，可以在幾秒鐘內(nèi)轉(zhuǎn)錄大小達(dá) 200MB 的音頻文件。

客戶希望在獲取轉(zhuǎn)錄結(jié)果的速度至關(guān)重要的場(chǎng)景中使用該 API，例如在面試結(jié)束或電話結(jié)束后立即獲得轉(zhuǎn)錄結(jié)果。該 API 是轉(zhuǎn)錄領(lǐng)域的一次變革，可以以高達(dá)實(shí)時(shí) 40 倍的速度轉(zhuǎn)錄音頻文件，例如在 15 秒內(nèi)轉(zhuǎn)錄 10 分鐘的音頻文件，而不會(huì)犧牲準(zhǔn)確性。API 提供了一種簡(jiǎn)單而強(qiáng)大的轉(zhuǎn)錄音頻的方式，并打開了一組新的場(chǎng)景，其中之一是呼叫中心內(nèi)的“代理筆記記錄”。

高效筆記記錄

一個(gè)典型的呼叫中心代理在每次通話后花費(fèi) 3 到 5 分鐘創(chuàng)建筆記?？焖俎D(zhuǎn)錄 API 結(jié)合 Azure OpenAI 服務(wù)可以自動(dòng)執(zhí)行此任務(wù)，為呼叫中心節(jié)省數(shù)千小時(shí)的工作時(shí)間。醫(yī)療從業(yè)者記錄與患者的對(duì)話后，可以在幾秒鐘內(nèi)分析這些記錄。類似地，媒體和內(nèi)容創(chuàng)作者可以在播客或采訪完成后立即分析并提取見解。

IntelePeer通過(guò)高級(jí) AI 驅(qū)動(dòng)的解決方案簡(jiǎn)化通信自動(dòng)化，幫助企業(yè)和聯(lián)系中心降低成本并豐富客戶體驗(yàn)。

微軟的快速 API 在離線轉(zhuǎn)錄方面的性能遠(yuǎn)遠(yuǎn)超過(guò)了競(jìng)爭(zhēng)對(duì)手。在比較相同的樣本語(yǔ)料庫(kù)時(shí)，快速 API 在低質(zhì)量音頻轉(zhuǎn)錄方面表現(xiàn)最好，結(jié)果比其他供應(yīng)商好70%

Parloa是一家為企業(yè)下一代客戶服務(wù)構(gòu)建聯(lián)系中心 AI 平臺(tái)的軟件開發(fā)公司，一直在預(yù)覽版中使用快速轉(zhuǎn)錄API。

快讀轉(zhuǎn)錄 API 提供了市場(chǎng)上最快、最準(zhǔn)確和最具成本效益的轉(zhuǎn)錄選項(xiàng)。

OPPO是一家全球技術(shù)品牌，以其創(chuàng)新的智能手機(jī)和智能設(shè)備聞名，正在使用 Azure AI 語(yǔ)音轉(zhuǎn)文本快速轉(zhuǎn)錄和 Azure AI 文本轉(zhuǎn)語(yǔ)音來(lái)試驗(yàn)其新 AI 手機(jī)上的新客戶體驗(yàn)。

快速轉(zhuǎn)錄 API將于 2024 年 6 月供開發(fā)者使用，敬請(qǐng)期待更多信息。

視頻翻譯服務(wù)

視頻翻譯服務(wù)已經(jīng)推出預(yù)覽版，這是一項(xiàng)開創(chuàng)性的服務(wù)，旨在改變企業(yè)本地化視頻內(nèi)容的方式。這項(xiàng)新服務(wù)為開發(fā)人員提供了一種高效而無(wú)縫的解決方案，以滿足對(duì)翻譯視頻內(nèi)容和克服語(yǔ)言障礙不斷增長(zhǎng)的需求，讓內(nèi)容所有者能夠觸達(dá)更廣泛的受眾。無(wú)論是用于教育視頻、營(yíng)銷活動(dòng)還是娛樂(lè)內(nèi)容，視頻翻譯都能確保您的信息以任何支持的語(yǔ)言被傳達(dá)出去。

該服務(wù)使開發(fā)者能夠使用預(yù)構(gòu)建的神經(jīng)語(yǔ)音和內(nèi)容編輯功能，或通過(guò)個(gè)人語(yǔ)音功能（一種限制訪問(wèn)功能）將內(nèi)容翻譯成 10 種語(yǔ)言。您可以在Speech Studio中了解更多關(guān)于視頻翻譯服務(wù)的信息，并試用您自己的視頻。

Vimeo 致力于簡(jiǎn)化制作、管理和分享視頻所需的一切——所有這些都在一個(gè)易于使用的平臺(tái)中。

Vimeo 正在與微軟視頻翻譯服務(wù)密切合作，對(duì)其為全球客戶解鎖的用例感到興奮。

多語(yǔ)言語(yǔ)音翻譯

我們宣布對(duì)我們的多語(yǔ)言語(yǔ)音翻譯能力進(jìn)行了新的增強(qiáng)。我們引入了多語(yǔ)言檢測(cè)功能，能夠在同一音頻流中檢測(cè)語(yǔ)言切換，并自動(dòng)語(yǔ)言檢測(cè)，消除了開發(fā)者指定輸入語(yǔ)言的需求，以及集成的自定義翻譯功能，以適應(yīng)您的領(lǐng)域特定詞匯。

有了這些功能，開發(fā)者不再需要指定輸入語(yǔ)言，可以在同一會(huì)話中處理語(yǔ)言切換，并支持實(shí)時(shí)流翻譯到目標(biāo)語(yǔ)言。

此功能對(duì)于字幕使用場(chǎng)景特別有幫助。字幕是為音頻或視頻內(nèi)容添加文本，以便讓聽力困難或說(shuō)不同語(yǔ)言的人更容易訪問(wèn)和理解。在許多國(guó)家，字幕不僅是法律義務(wù)，也是社會(huì)責(zé)任和包容的良好實(shí)踐。內(nèi)容創(chuàng)作者現(xiàn)在可以吸引更廣泛和更多樣化的受眾，并輕松提高用戶體驗(yàn)和參與度。

宣布個(gè)人語(yǔ)音的全面可用性

我們的語(yǔ)音服務(wù)還提供了自然語(yǔ)音的功能?？蛻艨梢岳迷撈脚_(tái)為頭像、聊天機(jī)器人和 IVR 創(chuàng)建逼真且自然的語(yǔ)音。通過(guò) Azure AI 語(yǔ)音，您可以選擇使用現(xiàn)有的語(yǔ)音模型，選擇多種不同的語(yǔ)音和風(fēng)格，也可以使用您自己的數(shù)據(jù)和錄音創(chuàng)建自定義的語(yǔ)音。

我們還宣布 Azure AI 語(yǔ)音推出了新的個(gè)人化語(yǔ)音功能。該功能目前以有限的訪問(wèn)權(quán)限推出，以確保適當(dāng)?shù)谋Ｕ洗胧┎⒈苊鉃E用。該功能允許用戶僅通過(guò)提供簡(jiǎn)短的語(yǔ)音樣本作為音頻提示，在幾秒鐘內(nèi)創(chuàng)建 AI 語(yǔ)音。該功能可用于各種用例，例如為聊天機(jī)器人個(gè)性化語(yǔ)音體驗(yàn)，或者利用演員的母語(yǔ)聲音將視頻內(nèi)容翻譯成不同的語(yǔ)言。

總之，我們強(qiáng)大而多功能的平臺(tái)幫助客戶將語(yǔ)音輸入和輸出與其他 AI 功能結(jié)合起來(lái)。這使得開發(fā)者能夠?yàn)樾聢?chǎng)景創(chuàng)建高質(zhì)量的工作負(fù)載。無(wú)論您是需要人類對(duì)話的見解、實(shí)時(shí)或錄制的字幕，還是為您的虛擬形象、聊天機(jī)器人或 IVR 創(chuàng)建逼真和自然的語(yǔ)音，Azure AI 都能幫助客戶提供快速、可靠和可定制的解決方案。

審核編輯：劉清