NVIDIA攜手騰訊云共同打造高性能的音視頻解決方案

騰訊云音視頻 PaaS 平臺與 NVIDIA 團(tuán)隊合作，利用 NVIDIA TensorRT 加速視頻直播和點播業(yè)務(wù)中視頻增強(qiáng) AI 模型的推理效率；借助 NVIDIA Maxine Video Effects SDK 的 AI 綠幕功能實現(xiàn)高性能高精度的人像分割，提升云導(dǎo)播臺服務(wù)的用戶體驗。

騰訊云音視頻 PaaS 平臺專注技術(shù)產(chǎn)品，構(gòu)建了行業(yè)中極速高清智能轉(zhuǎn)碼、超低時延快直播的音視頻解決方案，連續(xù)四年居于市場份額和解決方案首位[1]，覆蓋國內(nèi) 90% 音視頻客戶。團(tuán)隊通過不斷的技術(shù)創(chuàng)新和產(chǎn)品優(yōu)化引領(lǐng)行業(yè)發(fā)展，其中，騰訊云-媒體處理融合視頻 AI 技術(shù)持續(xù)突破核心編解碼技術(shù)，2021/2022 MSU 世界云端視頻轉(zhuǎn)碼比賽綜合最佳，且在最新的 SLC 評測中，也取得多項最佳的成績，另外騰訊云-媒體處理服務(wù)支撐全網(wǎng) 40%+ 實時媒體處理量[2]。"低延時、低碼率、高畫質(zhì)"，騰訊云音視頻為全真互聯(lián)時代，提供堅實的數(shù)字化助力。

在構(gòu)建高品質(zhì)高性能的音視頻解決方案的過程中，往往會面臨許多挑戰(zhàn)。

首先，由于網(wǎng)絡(luò)傳輸或采集設(shè)備不佳的原因，直播或點播的畫質(zhì)可能出現(xiàn)不清晰的問題，此時需要應(yīng)用視頻增強(qiáng)算法，如視頻超分辨率。為了不影響用戶的觀看體驗，視頻增強(qiáng)算法需要以足夠低的延時運行。此外，音視頻 PaaS 平臺還需要對視頻進(jìn)行高效的視頻標(biāo)簽識別、視頻分類、視頻剪輯等，這都必須藉由 AI 模型的推理速度，達(dá)到最佳程度的優(yōu)化和加速。

另外，在直播場景中，用戶希望對主播直播的畫面應(yīng)用虛擬背景，這要求將人像從直播畫面中精準(zhǔn)地分割出，并應(yīng)用預(yù)設(shè)的背景。如何獲得實時性高、準(zhǔn)確性強(qiáng)的人像分割也是一個難點。

騰訊云音視頻 PaaS 平臺與 NVIDIA 在諸多產(chǎn)品和業(yè)務(wù)中開展了深入合作，共同打造高性能的音視頻解決方案。

在云直播 CSS 服務(wù)以及媒體處理 MPS 服務(wù)中，騰訊云推出視頻增強(qiáng)功能。為了加速視頻增強(qiáng)模型的推理速度，騰訊云使用了?NVIDIA TensorRT?對模型進(jìn)行高性能優(yōu)化。TensorRT 是構(gòu)建在 NVIDIA 的并行編程模型 CUDA 基礎(chǔ)之上的，結(jié)合最新一代?NVIDIA Ampere 架構(gòu) GPU，TensorRT 還可以利用?Tensor Core?實現(xiàn)稀疏性加速的特點。對于深度學(xué)習(xí)推理應(yīng)用的生產(chǎn)環(huán)境部署方面，TensorRT 提供了 INT8 和 FP16 的優(yōu)化，低精度推理能夠極大的降低應(yīng)用的延遲，有益于實現(xiàn)實時視頻增強(qiáng)服務(wù)。

在云直播 CSS 云導(dǎo)播臺業(yè)務(wù)的 AI 智能人像摳圖功能中，騰訊云采用了?NVIDIA Maxine Video Effects SDK?中提供的 AI Green Screen（簡稱 AIGS）功能，對直播畫面進(jìn)行實時而準(zhǔn)確的人像分割。Maxine AIGS 對視頻流摳圖的精度和穩(wěn)定性做了專門的優(yōu)化，并且加入了 CUDA Graph 優(yōu)化技術(shù)，及時在 GPU 負(fù)載高的時候也能降低整體的延時，使得云導(dǎo)播臺的人像分割模塊能實現(xiàn)多路并發(fā)、遠(yuǎn)超實時的處理高效率。Maxine AIGS 提供了簡單易用的 API 接口，騰訊云音視頻 PaaS 平臺可直接在 FFmpeg filter 中通過 API 調(diào)用該功能，并可與其他多媒體處理 filter 聯(lián)動對視頻流進(jìn)行處理。

最后，在媒體處理 MPS 業(yè)務(wù)中的視頻 AI 功能，涉及到了多個深度學(xué)習(xí)模型的推理，騰訊云同樣采用?NVIDIA T4 GPU?進(jìn)行高性能推理。這得益于幾乎所有主流的深度學(xué)習(xí)框架均能在 NVIDIA GPU 上執(zhí)行高效計算。

NVIDIA TensorRT 在騰訊云音視頻 PaaS 平臺的提供的視頻增強(qiáng)和視頻 AI 功能中，使得推理階段的應(yīng)用在 NVIDIA T4 GPU 上可以實現(xiàn)同比單一 CPU 平臺高達(dá) 40 倍的加速效果。TensorRT 可以從所有主流的深度學(xué)習(xí)框架中導(dǎo)入訓(xùn)練好的模型并進(jìn)行優(yōu)化，同時提供相應(yīng)的 API 和解析器，生成經(jīng)過優(yōu)化的運行時引擎可以部署到畫質(zhì)增強(qiáng)服務(wù)中。

未來，騰訊云音視頻 PaaS 平臺與 NVIDIA 將持續(xù)合作，進(jìn)一步提升音視頻產(chǎn)品和服務(wù)中 AI 算法的性能。雙方將基于 NVIDIA TensorRT 最新的特性，利用低精度和稀疏化模型壓縮技術(shù)，對云直播和云點播業(yè)務(wù)中涉及到的視頻增強(qiáng)與視頻 AI 功能模型的推理進(jìn)行大幅加速。此外，NVIDIA Maxine 在視頻特效和音頻特效方面持續(xù)發(fā)布新特性，包括音頻超分技術(shù)、立體環(huán)繞聲增強(qiáng)技術(shù)等，也將助力騰訊云音視頻 PaaS 平臺提供更豐富的音視頻服務(wù)和功能。雙方在未來也將不斷探索打造編解碼、AI、圖形渲染全流程 GPU 加速的視頻處理方案。

審核編輯：湯梓紅