基于深度學(xué)習(xí)算法的軟件生態(tài)系統(tǒng)

深度學(xué)習(xí)是機器學(xué)習(xí)的一個子集，常用于自然語言處理，計算機視覺等領(lǐng)域，與眾不同之處在于，DL（Deep Learning ）算法可以自動從圖像、視頻或文本等數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)特征。DL可以直接從數(shù)據(jù)中學(xué)習(xí)，這比較類似于人腦的運行方式，獲得更多數(shù)據(jù)后，準確度也會越來越高。TIDL（TI Deep Learning Library） 是TI平臺基于深度學(xué)習(xí)算法的軟件生態(tài)系統(tǒng)，可以將一些常見的深度學(xué)習(xí)算法模型快速的部署到TI嵌入式平臺。 TDA4擁有TI最新一代的深度學(xué)習(xí)加速模塊C7x DSP與MMA矩陣乘法加速器，可以運行TIDL進行卷積等基本計算，從而快速地進行前向推理，得到計算結(jié)果。 當(dāng)深度學(xué)習(xí)遇上TDA4，你的模型部署流程將變得簡單，你的模型將高效地運行在TDA4上。

TI 最新一代的汽車處理器TDA4VM集成了高性能計算單元C7x DSP（Digital Signal Processor）和Deep-learning Matrix Multiply Accelerator（MMA），可以高效地進行卷積計算、矩陣變換等一些基本地深度學(xué)習(xí)算子。TIDL 是TI的針對于嵌入式平臺部署深度學(xué)習(xí)不方便，計算效率低下而設(shè)計的一個軟件生態(tài)系統(tǒng)，用于加速 TI 嵌入式設(shè)備上的深度神經(jīng)網(wǎng)絡(luò)Deep Neural Networks (DNN)計算加速。 上一代產(chǎn)品 TDA2/3 系列處理器，集成了計算單元 DSP（Digital Signal Processor）和 EVE（Embedded Vision/Vector Engine），用于加速計算深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。相比于上一代TDA2/TDA3系列處理器，最新一代的TDA4處理器在算例上得到了大幅提高的同時，在軟件方面提供了更好地支持，同時提供了更多的深度學(xué)習(xí)模型的部署示例，方便開發(fā)人員快速開發(fā)迭代產(chǎn)品，極大地縮短的產(chǎn)品開發(fā)周期。

圖1. TIDL SW Framework

基于深度神經(jīng)網(wǎng)絡(luò) (DNN) 的機器學(xué)習(xí)算法用于許多行業(yè)，例如機器人、工業(yè)和汽車。越來越多的基于 DNN 的機器學(xué)習(xí)算法被應(yīng)用于 ADAS 產(chǎn)品中，如車道線檢測，交通信號燈識別，行人識別等ADAS基礎(chǔ)功能均采用DNN算法實現(xiàn)。這些DNN神經(jīng)網(wǎng)絡(luò)算法通常需要大量的計算，而TI TDA4系列處理器中的C7x和MMA可以將一些DNN中的算子進行加速計算，以實現(xiàn)快速推理得到識別結(jié)果。RTOS SDK 中集成了眾多的Demo展示TIDL在TDA4處理器上對實時的語義分割和 SSD 目標檢測的能力。如下圖2：AVP的demo展示了使用TIDL對泊車點、車輛的檢測。

圖2. TIDL SW Framework

TIDL當(dāng)前支持的訓(xùn)練框架有Tensorflow、Pytorch、Caffe等，用戶可以根據(jù)需要選擇合適的訓(xùn)練框架進行模型訓(xùn)練。TIDL可以將PC端訓(xùn)練好的模型導(dǎo)入編譯生成TIDL可以識別的模型格式，同時在導(dǎo)入編譯過程中進行層級合并以及量化等操作，方便導(dǎo)入編譯后的模型高效的運行在具有高性能定點數(shù)據(jù)感知能力TDA4硬件加速器上。 TIDL提供了一些的工具，如模型導(dǎo)入工具，模型可視化工具等，非常便捷地可以對訓(xùn)練好地模型進行導(dǎo)入。

圖3. TIDL Tools

TIDL Runtime 是運行在TDA4端的實時推理單元，同時提供了TIDL的運行環(huán)境，對于input tensor，TIDL TIOVX Node 調(diào)用TIDL 的深度學(xué)習(xí)加速庫進行感知，并將結(jié)果進行輸出。

圖4. TIDL Runtime

如圖5所示，是TIDL的軟件框架。在TIDL上，深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用開發(fā)主要分為三個大的步驟（以TI Jacinto7TM TDA4VM處理器為例）：

圖5. TIDL SW Framework

基于Tensorflow、Pytorch、Caffe 等訓(xùn)練框架，訓(xùn)練模型：選擇一個訓(xùn)練框架，然后定義模型，最后使用相應(yīng)的數(shù)據(jù)集訓(xùn)練出滿足需求的模型。

基于TI Jacinto7TM TDA4VM處理器導(dǎo)入模型： 訓(xùn)練好的模型，需要使用TIDL Importer工具導(dǎo)入成可在TIDL上運行的模型。導(dǎo)入的主要目的是對輸入的模型進行量化、優(yōu)化并保存為TIDL能夠識別的網(wǎng)絡(luò)模型和網(wǎng)絡(luò)參數(shù)文件。

基于TI Jacinto7TM SDK 驗證模型，并在應(yīng)用里面部署模型：

PC 上驗證并部署

在PC上使用TIDL推理引擎進行模型測試。

在PC上使用OpenVX框架開發(fā)程序，在應(yīng)用上進行驗證。

EVM上驗證并部署

在EVM上使用TIDL推理引擎進行模型測試。

在EVM上使用OpenVX框架開發(fā)程序，在應(yīng)用上進行驗證

當(dāng)深度學(xué)習(xí)遇上TDA4，模型部署變得簡單的同時，模型也可以更加高效地運行。讓我們開啟TDA4的探索之旅，你的AI旅程將變得輕松愉快。

審核編輯：湯梓紅