中通快遞采用英特爾數(shù)據(jù)中心GPU實現(xiàn)更高效的分撥視頻流分析

隨著電商行業(yè)的快速發(fā)展，快遞業(yè)務(wù)總量增長迅猛。據(jù)統(tǒng)計，2022年上半年，全國快遞服務(wù)企業(yè)的業(yè)務(wù)量累計完成512.2億票，同比增長3.7%1。

一年一度的618即將來臨，想必大家已經(jīng)加好購物車了。這次可以放心在家等快遞，因為快遞巨頭中通、韻達在提高效率和智慧化上，也已經(jīng)做好了十足的準備。

韻達基于英特爾 數(shù)據(jù)中心GPU Flex系列

優(yōu)化視覺AI方案

為應(yīng)對激增的業(yè)務(wù)量并提升快件攬收量與派送效率，上海韻達貨運有限公司實施了網(wǎng)格倉2策略，借助由視覺人工智能 （AI） 驅(qū)動的智能共配3分揀系統(tǒng)對快件進行自動分揀。同時，由于快遞行業(yè)重時效的特性，推進全鏈路時效優(yōu)化也十分必要，為此，韻達正大力推廣分撥視頻分析平臺以分析包括格口在內(nèi)的分撥視頻，進而優(yōu)化激勵機制和業(yè)務(wù)管理能力。然而，在項目推進過程中，韻達遇到了以下挑戰(zhàn)：格倉承載快件數(shù)量龐大，例如上海某網(wǎng)點的網(wǎng)格倉試點每日需要處理的快件數(shù)量高達3萬票4；智能分揀線須兼顧高準確度和低時延，系統(tǒng)識別的準確度須達到95%以上，智能分揀線系統(tǒng)的時延必須要小于130ms；視頻流分析體量龐大，對算力要求高。

針對以上挑戰(zhàn)，韻達基于英特爾 數(shù)據(jù)中心GPU Flex系列170和英特爾 分發(fā)版OpenVINO 工具套件來優(yōu)化其三段碼OCR檢測系統(tǒng)和分撥視頻分析平臺性能。英特爾 數(shù)據(jù)中心GPU Flex 系列170是英特爾面向視覺AI和智能云計算等場景而打造的、基于英特爾 Xe 架構(gòu)的GPU，擁有高達512個執(zhí)行單元，能夠保證多線程處理的吞吐量，同時支持H.264、H.265 （HEVC）硬件編碼/解碼和AV1編碼/解碼5，高度契合韻達視覺AI方案對圖片與視頻處理的需求。

英特爾 OpenVINO 具套件包含模型優(yōu)化器和推理引擎兩大組件。韻達利用 OpenVINO 模型優(yōu)化器MO （Model Optimizer） 可將Caffe、TensorFlow、Pytorch和PaddlePaddle等多種常見框架的模型轉(zhuǎn)換為OpenVINO 中間數(shù)據(jù)格式（IR， Intermediate Representation）的離線模型，并且對這些模型的性能進行優(yōu)化；推理引擎則可以為跨英特爾多種芯片（包括 CPU、GPU和FPGA等）的計算機視覺異構(gòu)計算提供加速支持。

為驗證方案性能，韻達進行了三段碼OCR測試和TSM （Temporal Shift Module）測試。在三段碼OCR測試中，共對2450張圖片進行了識別，測試結(jié)果顯示平均運行時間為114 ms8，優(yōu)于韻達130 ms的期望標準，可很好地滿足韻達對低時延的需求。此外，根據(jù)實驗室測試結(jié)果，經(jīng)優(yōu)化后，三段碼OCR識別的準確度能夠達到97 %-98%6，也優(yōu)于韻達95%的預(yù)期基準。在TSM測試中，選用了1200個視頻并分不同實例和批量大小做了測試，測試結(jié)果如下圖所示。

基于英特爾 數(shù)據(jù)中心 GPU Flex 170 的 TSM 測試 結(jié)果6

綜合測試和網(wǎng)點試點結(jié)果，基于英特爾 數(shù)據(jù)中心GPU Flex系列170和英特爾 分發(fā)版OpenVINO 工具套件的視覺AI方案，從算力、時延、準確度、并發(fā)能力、穩(wěn)定性和散熱能力等多個方面都能很好地滿足韻達的需求，并為韻達帶來了以下業(yè)務(wù)優(yōu)勢：

提升業(yè)務(wù)效率并降低成本：智能分揀系統(tǒng)的部署顯著提升了分揀線效率，進而提升了派送效率和派送時效；此外，高效的智能分揀系統(tǒng)還幫助韻達實現(xiàn)了人力和成本節(jié)約。

優(yōu)化業(yè)務(wù)管理和決策：英特爾 數(shù)據(jù)中心GPU Flex系列170帶來的高算力讓韻達實現(xiàn)了更高效的分撥視頻流分析，可幫助韻達在跨年度/跨季度預(yù)測、合理定價、網(wǎng)點時效提升和獎懲制定等方面做出優(yōu)化。

中通快遞采用英特爾 數(shù)據(jù)中心GPU和OpenVINO

以更高性價比擴展邊緣視覺AI應(yīng)用

一直以來，中通快遞都在追求更先進、易用的技術(shù)方案來優(yōu)化物流園區(qū)作業(yè)、運輸和管理，在早期部署的邊緣視覺AI方案，就能有效監(jiān)測園區(qū)內(nèi)是否存在攀爬傳送帶等危險作業(yè)，踩踏、暴力分揀等違規(guī)作業(yè)，以及未戴安全帽等著裝安全問題。但隨著業(yè)務(wù)的快速發(fā)展以及技術(shù)應(yīng)用的不斷深入，中通對邊緣視覺AI方案提出了更高的要求，既要滿足業(yè)務(wù)端的更多需求，比如在場區(qū)的分揀方面，可能存在的小件堵包、流水線擁堵和掛包等情況，以做到“實時發(fā)現(xiàn)、實時告警”等；又要讓模型開發(fā)與維護更簡潔、更高效，并降低成本，在實際場景中實現(xiàn)更高性價比。

為應(yīng)對以上挑戰(zhàn)，中通眾多中心或網(wǎng)點都部署了新的英特爾 數(shù)據(jù)中心GPU Flex系列。在英特爾工程師的協(xié)助下，中通只需在相同模型上進行開發(fā)，即可基于XPU實現(xiàn)AI推理加速，從而實現(xiàn)對各種資源的充分利用。例如，同一模型，在對輕量級AI業(yè)務(wù)場景時，可以直接使用CPU，而在對實時性要求較高或者多并發(fā)的場景時，則使用英特爾 數(shù)據(jù)中心GPU Flex系列，從而減少針對不同硬件開發(fā)不同模型的負擔，降低全網(wǎng)部署的難度。

英特爾 分發(fā)版 OpenVINO 工具套件是一個旨在優(yōu)化和部署AI推理的開源工具套件。首先，中通利用其中的模型優(yōu)化器可將基于其他深度學(xué)習框架的模型轉(zhuǎn)換為統(tǒng)一且性能經(jīng)過優(yōu)化的OpenVINO IR模型，有效降低了模型優(yōu)化與運維的復(fù)雜程度。其次，此工具套件中的Open Model Zoo提供了大量的免費且預(yù)訓(xùn)練好的深度學(xué)習模型及演示應(yīng)用。中通在此次項目中也選用了其中的一些模型，有效地降低了模型開發(fā)難度并縮短了應(yīng)用開發(fā)時間。同時，中通還利用了工具套件中的英特爾 Deep Learning Streamer （DL Streamer）7 并結(jié)合自身應(yīng)用場景的特點創(chuàng)建了用于視頻解碼、編碼和媒體智能分析的業(yè)務(wù)流，實現(xiàn)了在邊緣對音視頻進行智能分析和對英特爾 硬件平臺的充分利用。

為滿足像視頻流計算這樣對算力和實時性要求較高的應(yīng)用需求，中通按需導(dǎo)入了英特爾 GPU Flex系列170，對部分服務(wù)器進行了升級改造并針對其ZTO Yolo v4 推理業(yè)務(wù)流進行了測試。測試結(jié)果顯示，這一產(chǎn)品性能出色，可很好地滿足中通相關(guān)應(yīng)用場景的需求。

英特爾軟硬件全面創(chuàng)新

助力千行百業(yè)數(shù)智化轉(zhuǎn)

英特爾除了在軟硬件全面創(chuàng)新，滿足各類需求，還擁有強大的生態(tài)系統(tǒng)和可靠的專業(yè)支持，來助力快遞行業(yè)以及各行各業(yè)的數(shù)智化轉(zhuǎn)型。

從算力提升到框架指令的適配，英特爾著眼AI應(yīng)用開發(fā)與部署的各個環(huán)節(jié)，全面創(chuàng)新，旨在滿足用戶的不同需求。硬件層面，英特爾持續(xù)增強其CPU英特爾 至強 可擴展處理器的內(nèi)置AI加速能力，第四代英特爾至強可擴展處理器內(nèi)置了全新的英特爾高級矩陣擴展（英特爾 AMX），可大幅提高深度學(xué)習訓(xùn)練和推理性能。同時，英特爾還推出包括GPU、FPGA和VPU在內(nèi)的各類專用加速器以滿足不同場景對算力的特定需求。軟件層面，從模型、框架到底層庫，英特爾也在不斷創(chuàng)新以適配各類硬件，賦能用戶更好地基于英特爾 架構(gòu)實現(xiàn)AI加速。例如，在英特爾 oneAPI 和OpenVINO 工具套件的支持下，模型可實現(xiàn)跨英特爾 CPU和GPU的無縫切換，且?guī)缀醪粫?yīng)用層造成任何影響。

部署并加速AI應(yīng)用開發(fā)并非易事，尤其是在異構(gòu)計算興起的今天，高要求、大規(guī)模AI應(yīng)用更是變得越來越復(fù)雜。英特爾強大的生態(tài)系統(tǒng)和專業(yè)的技術(shù)支持團隊可為用戶在項目前、項目中和項目后提供參考方案和專業(yè)支持，顯著降低企業(yè)IT團隊AI應(yīng)用開發(fā)的復(fù)雜度并提升效率。