三種主流的深度學習模型部署框架

深度學習工程師做什么

深度學習已經(jīng)改變了很多行業(yè)，深度學習工程師已經(jīng)是不折不扣的高薪職業(yè)，但是也有越來越內卷的趨勢，以前只要求會訓練模型就可以了，現(xiàn)在多數(shù)深度學習工程師崗位都要求掌握模型訓練與模型部署。 可以毫不夸張的說，以后只有既會訓練，又會部署而且是會C++部署模型的深度學習工程師才會繼續(xù)高薪之路，否則按照這個內卷趨勢，只會訓練模型，不會部署模型的深度學習工程師必然會受到后來開發(fā)者越來越多的挑戰(zhàn)，前期積累的優(yōu)勢蕩然無存。所以掌握從數(shù)據(jù)標注、到模型訓練、到模型部署技能是深度學習工程師基本要求，也是未來的必然趨勢。

深度學習工程化步驟

深度學習工程落地分為兩個主要階段，分別是數(shù)據(jù)準備、模型訓練、模型部署三個主要階段。

深度學習模型部署場景

深度學習模型部署場景主要包括：

01

云部署場景

主要是基于云服務器與分布式服務提供，企業(yè)需要支付云服務器算力費用與存儲費用。優(yōu)點是便于擴展，方便在多個位置與節(jié)點快速部署使用模型算法；缺點是與邊緣部署相比，延時比較高，可靠性比較低，數(shù)據(jù)安全受到挑戰(zhàn)，沒有充分利用邊緣設備算力。

02

邊緣（PC端側）部署場景

高性能應用的理想選擇、高度可定制（使用與應用程序相關的部件構建）、靈活的定價（因為可以根據(jù)應用選擇組件）。優(yōu)點是成本可控，數(shù)據(jù)安全有保證，低延時高可靠，因此在機器視覺、安防監(jiān)控等領域都大量采用該方案，依靠工控機+顯卡的方式提供算力實現(xiàn)模型部署，支持缺陷檢測、安防監(jiān)控、自動化生產(chǎn)等。缺點是對一些成本特別敏感的行業(yè)依然無法大量采用該方案。

03

邊緣（ARM、FPGA和推理板卡，智能相機）

邊緣與端側部署一個很重要的場景，典型的就是各種人工智能盒子，包括英特爾的NUC盒子，最新推出AlxBorad板卡，英偉達的Jetson系列板卡，RK系列的板卡、樹莓派等，已經(jīng)基于他們實現(xiàn)的各種智能設備。他們的優(yōu)點是低成本，低功耗、顯著節(jié)省外圍硬件算力，同時高可靠性，安全，適用于對算力要求不是很嚴苛的場景，支持各種輕量化的模型部署。缺點是對深度學習開發(fā)者要求較高，要求對模型進行量化，各個板卡支持的模型部署框架不同，工具鏈軟件也不一樣

深度學習主流部署框架

深度學習開發(fā)者至少應該掌握一種深度學習模型部署框架，當前深度學習模型部署主要有OpenVINO、TensorRT、ONNXRUNTIME這三個當前主流的框架。 OpenVINO來自英特爾公司，當前最新版本是OpenVINO2023.1

TensorRT來自英偉達公司，當前最新版本是TensorRT8.6

ONNXRUNTIME來自微軟，當前最新版本是1.15.x

如何選擇

英特爾CPU/GPU上模型加速與推理最佳選擇是OpenVINO

英偉達GPU上模型加速與推理最佳選擇TensorRT

兼容不同硬件廠家平臺模型算子支持度高，兼容性強最佳選擇是ONNXRUNTIME

如何學習

掌握三種主流的深度學習模型部署框架，實現(xiàn)模型在CPU、GPU、AMD等不同平臺硬件上加速推理最佳性能。OpenCV學堂已經(jīng)推出OpenVINO、TensorRT、ONNXRUNTIME深度學習部署系統(tǒng)化學習路線圖。“工欲善其事，必先利其器”，做深度學習工程師，學完部署再打工，一切都來得及，現(xiàn)在開始剛剛好！

根據(jù)需要自主選擇深度學習模型部署框架學習，均支持C++與Python SDK 代碼演示，支持對象檢測，實例分割，語義分割等主流模型部署與模型加速推理技巧。深度學習開發(fā)者根據(jù)自己需要選擇想要的深度學習模型部署框架，然后學習即可。