英特爾AMX助華棲云多場景AI推理性能大幅提升多達96倍

AI技術(shù)應(yīng)用已經(jīng)深入到各行各業(yè)，特別是云服務(wù)提供商將AI能力集成到云服務(wù)中，能夠更好地滿足用戶對性能、效率和體驗的需求。而在主流媒體全面進入互聯(lián)網(wǎng)陣地的大趨勢下，媒體行業(yè)面臨融合、高效、智能化的挑戰(zhàn)。成都華棲云科技有限公司（簡稱：華棲云）正是這樣一家面向蓬勃興起的泛媒體、大視頻時代的企業(yè)用戶市場，為用戶提供媒體云服務(wù)的提供商。

為了給用戶帶來更加智慧的應(yīng)用體驗，大幅提升內(nèi)容來源的寬度，內(nèi)容生產(chǎn)的速度、內(nèi)容發(fā)布的廣度，華棲云媒體云平臺正在集成廣泛的AI技術(shù)，推動光學(xué)字符識別(OCR) 識別、圖像超分修復(fù)、人體姿態(tài)識別、大型語言模型 (LLM) 等應(yīng)用的落地。

對于最終用戶而言，這些 AI 技術(shù)對于媒體云基礎(chǔ)設(shè)施帶來了 AI 推理等方面的算力挑戰(zhàn)，用戶需要通過高性能、低成本、高靈活度的算力方案，來滿足實際應(yīng)用的嚴苛需求。于是，華棲云與英特爾合作，在媒體云平臺上驗證了第四代英特爾至強可擴展處理器及其內(nèi)置的英特爾高級矩陣擴展（英特爾AMX）加速器。驗證結(jié)果顯示，在英特爾AMX 的加持下，第四代英特爾至強可擴展處理器可顯著提升大型語言模型、人體姿態(tài)識別、CLIP 圖像文本分類處理模型、OCR 識別、圖像超分修復(fù)等模型的推理能力，提供了高性價比、高靈活性的 AI 基礎(chǔ)設(shè)施構(gòu)建選項。

英特爾AMX及CPU大模型推理與主流GPU性能一致

華棲云之所以選擇基于英特爾 CPU 的 AI 推理方案，是因為該方案能夠充分利用媒體云已有的服務(wù)器資源，在架構(gòu)上無需進行大幅變動，性價比較高，且在性能上足以滿足智能資源管理、智能審核、智能生產(chǎn)等場景所需。

現(xiàn)在，AIGC技術(shù)得到越來越多應(yīng)用。華棲云同樣采用了基于大語言模型的 AIGC 技術(shù)，使智能媒體云平臺能夠自動進行要點歸納及內(nèi)容創(chuàng)作、改寫，做到一課一虛擬助教，提高師生教學(xué)互動能力。此外，AIGC 技術(shù)還能用于課程內(nèi)容識別理解等更多場景，帶來智慧教育新體驗。所以，大語言模型的推理能力對于華棲云至關(guān)重要。

華棲云采用內(nèi)置AI加速器英特爾AMX的第四代英特爾至強可擴展處理器，在大語言模型推理性能上表現(xiàn)出強勁實力。在華棲云的測試中，對比了某主流 GPU 與第四代英特爾至強可擴展處理器的大語言模型推理性能，測試數(shù)據(jù)如圖1 所示，兩者性能基本保持在同一層面。這得益于英特爾AMX 針對廣泛的硬件和軟件優(yōu)化，通過提供矩陣類型的運算，顯著增加了人工智能應(yīng)用程序的每時鐘指令數(shù) (IPC)，可為 AI 工作負載中的訓(xùn)練和推理上提供顯著的性能提升。從而使華棲云使用CPU不額外增加成本的情況下，獲得了同樣的AI推理性能。

圖1：大語言模型推理性能測試1

英特爾助華棲云多個AI推理場景性能大幅提升

除了大語言模型推理之外，華棲云多項AI推理性能均在英特爾至強可擴展處理器和英特爾AMX的加持下得到顯著提升。

第一，對比語言圖像預(yù)訓(xùn)練 (CLIP)是一種在各種（圖像、文本）對上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，可以用自然語言指示它在給定圖像的情況下推理最相關(guān)的文本片段，而無需直接針對任務(wù)進行優(yōu)化。在媒體云平臺場景中，CLIP 不僅提供了先進的圖像分類結(jié)果，而且還提供了對象分類、視頻中的動作識別和 OCR 等其他視覺任務(wù)。CLIP 有助于媒體云平臺在不構(gòu)建巨大數(shù)據(jù)集的前提下，訓(xùn)練高質(zhì)量的模型，同時降低計算成本。

華棲云 CLIP 算法推理性能測試數(shù)據(jù)如圖 2 所示，在將模型轉(zhuǎn)化為BF16 后，第四代英特爾至強可擴展處理器的 CLIP 推理性能相較第二代英特爾至強可擴展處理器最高提升了 95.63 倍2。

圖2：華棲云 CLIP 算法推理性能測試3

第二，OCR 識別在媒體云平臺中，常用于圖像中的信息提取，如課件識別、版面識別、試卷識別等。華棲云在測試中，對比了第二代英特爾至強可擴展處理器與第四代英特爾至強可擴展處理器的單線程吞吐性能差異。測試數(shù)據(jù)如圖 3 所示，對比第二代英特爾至強可擴展處理器，第四代英特爾至強可擴展處理器的性能最高可提升約 6.41 倍4。

圖3：OCR 單線程吞吐測試5

第三，超分辨率 (Super-Resolution) 是指通過硬件或軟件的方法提高原有圖像的分辨率，超分辨率算法有效提高放大后圖像的質(zhì)量，同時節(jié)約帶寬、存儲等方面的資源。ESRGAN 是一種基于生成對抗網(wǎng)絡(luò) (GAN) 的圖像超分辨率算法，其主要思想是通過學(xué)習(xí)低分辨率 (LR) 圖像與其高分辨率 (HR) 對應(yīng)物之間的映射，來實現(xiàn)從 LR 圖像到 HR 圖像的映射過程，從而實現(xiàn)圖像的超分辨率。SwinIR 則是一種基于 Swin Transformer 的圖像超分辨率重建算法，相對于傳統(tǒng)的 Transformer 模型，在處理圖像等二維數(shù)據(jù)時，具有更好的并行性和更高的計算效率。

華棲云測試了第二代/第四代英特爾至強可擴展處理器在ESRGAN 算法推理中的性能表現(xiàn)，測試數(shù)據(jù)如圖 4 所示，在將模型轉(zhuǎn)化為 BF16 后，第四代英特爾至強可擴展處理器的ESRGAN 推理性能相較第二代英特爾至強可擴展處理器最高提升了 3 倍6。

圖4：ESRGAN 算法吞吐性能測試7

SwinIR 模型推理性能測試數(shù)據(jù)如圖 5 所示，在將模型轉(zhuǎn)化為BF16 后，第四代英特爾至強可擴展處理器的 SwinIR 推理性能相較第二代英特爾至強可擴展處理器最高提升了 7.4 倍8。

圖5：SwinIR 模型推理性能測試9

第四，人體姿態(tài)識別算法能夠通過圖像獲取并識別人體骨架信息，通過算法判斷動作類別和姿態(tài)，從而實現(xiàn)動作識別。華棲云在智能媒體云平臺中采用了基于 OpenPose 方法與 EfficientHRNet 方法的多人 2D 姿勢估計網(wǎng)絡(luò)，針對圖像中的每個人，網(wǎng)絡(luò)都會檢測到一個人體姿勢：一個由關(guān)鍵點和關(guān)鍵點之間的連接組成的身體骨架。

華棲云基于 OpenPose 方法的人體姿態(tài)識別算法推理性能測試數(shù)據(jù)如圖 6 所示，在將模型轉(zhuǎn)化為 BF16 后，第四代英特爾至強可擴展處理器的 OpenPose 推理性能相較第二代英特爾至強可擴展處理器最高提升了 64.82 倍10。

圖6：基于 OpenPose 方法的人體姿態(tài)識別推理性能測試11

基于CPU的AI推理方案為華棲云降低TCO并增加靈活性

在采用內(nèi)置了英特爾AMX 的第四代英特爾至強可擴展處理器之后，華棲云提升了多種典型算法的推理性能，滿足了教育、廣電等客戶對于智能媒體云平臺的性能要求，為客戶帶來以下價值：

在保證模型精度的前提下，顯著提升多個 AI 模型的性能表現(xiàn)，有助于提供更加高效的智能媒體云服務(wù)； 通過軟件優(yōu)化充分釋放了硬件潛力，支持有效利用服務(wù)器資源，無需獨立、專用的 AI 加速器，有助于降低媒體云平臺構(gòu)建的 TCO； 通用的 CPU 平臺不僅能夠高效支撐 AI 推理，而且能夠靈活應(yīng)對編解碼、轉(zhuǎn)碼等負載，更具可擴展性。

AIGC 等AI技術(shù)的應(yīng)用正在為媒體行業(yè)注入充沛的活力，推動媒體行業(yè)的智能化轉(zhuǎn)型。華棲云以超高清智能媒體處理云平臺為驅(qū)動引擎，在泛媒體、大教育、政企等行業(yè)形成了成熟的云服務(wù)及云解決方案。通過與英特爾合作，并利用英特爾AMX 等創(chuàng)新技術(shù)，華棲云正在推動新一代智能融媒體平臺覆蓋媒體內(nèi)容生產(chǎn)、管理、發(fā)布、運營和數(shù)據(jù)化管理全流程應(yīng)用。

英特爾AMX及英特爾至強可擴展處理器以不遜于GPU的AI推理性能，為華棲云降低了云平臺TCO的同時，提供了更大的靈活性和擴展性，支持華棲云智能媒體云平臺以新思維、新技術(shù)重塑媒體全鏈路生產(chǎn)與運營模型，建立集內(nèi)容、產(chǎn)品、用戶、數(shù)據(jù)一體的全媒體融合運營體系，實現(xiàn)媒體基于內(nèi)容的價值再造。

審核編輯：劉清