技術(shù)干貨 | 傳感器的智能之路和實(shí)現(xiàn)之道（下）

點(diǎn)擊上方“意法半導(dǎo)體中國(guó)”，關(guān)注我們

???????? ? ?10月17日ST將在北京舉行2023 ST傳感器大會(huì)，屆時(shí)您可以前往會(huì)場(chǎng)觀看演講和演示，與我們的工程師面對(duì)面討論。 歡迎掃碼注冊(cè)

閱讀本文時(shí)，請(qǐng)先閱讀：

技術(shù)干貨 | 傳感器的智能之路和實(shí)現(xiàn)之道（上）

以前人們討論談人工智能時(shí)主要關(guān)注云計(jì)算 — 數(shù)據(jù)上傳到云端，利用其強(qiáng)大計(jì)算能力得到結(jié)果。然而，云計(jì)算的前提是所有的數(shù)據(jù)都要傳到云端，對(duì)帶寬要求極高，可能到6G時(shí)代才能真正實(shí)現(xiàn)。

現(xiàn)在我們將人工智能轉(zhuǎn)移到邊緣端進(jìn)行邊緣計(jì)算。通常情況下，邊緣計(jì)算是將算法放置到MCU中，傳感器只輸出數(shù)據(jù)，MCU運(yùn)行獨(dú)立算法。然后，現(xiàn)在我們將算法下沉放到傳感器中，有兩種不同的方案：

1）基于MLC，采用rPU處理器進(jìn)行重配置，能將部分算法（如決策樹算法）運(yùn)行于傳感器中，再由傳感器輸出事件結(jié)果給MCU。這樣就不需要MCU去處理運(yùn)行全部算法。

2）基于我們今天的主角ISPU，Intelligent Sensor Processing Unit，智能傳感器處理單元。

ISPU不是傳感器，只是嵌入在傳感器IMU里面的功能模塊。ISPU本質(zhì)上是一種微型C語言可編程處理器，可在傳感器內(nèi)執(zhí)行信號(hào)處理和AI算法，與常見開發(fā)工具兼容，相當(dāng)于傳感器中嵌入了一個(gè)DSP，可以運(yùn)行類似MCU的算法。因此，它擁有更強(qiáng)大的功能，可以運(yùn)行標(biāo)準(zhǔn)的C指令，支持信號(hào)處理和AI推理、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，甚至二進(jìn)制神經(jīng)網(wǎng)絡(luò)，同時(shí)以μA級(jí)的功耗提供廣泛的編程靈活性，讓傳感器的智能程度更進(jìn)一步！

目前帶ISPU的6軸慣性測(cè)量單元（IMU）有兩種。面向復(fù)雜動(dòng)作手勢(shì)識(shí)別、事件檢測(cè)和運(yùn)動(dòng)追蹤等消費(fèi)應(yīng)用的LSM6DSO16IS，以及面向機(jī)器人、空調(diào)和資產(chǎn)追蹤，預(yù)測(cè)性維護(hù)等邊緣工業(yè)應(yīng)用的ISM330IS。除了基本的IMU功能（如可配置陀螺儀量程，加速度量程，ODR數(shù)據(jù)，SPI/I2C接口），內(nèi)部還集成了ISPU用于人工智能算法和處理超低功耗可編程核心，運(yùn)行頻率最高可達(dá)到10兆赫茲，配備32KB用于程序的RAM和8KB用于數(shù)據(jù)的RAM，總40KB內(nèi)存，支持浮點(diǎn)運(yùn)算及32位整數(shù)運(yùn)算。

ST的ISPU方案基于DSP架構(gòu)。這種DSP面積很小，只有8K門；封裝也很小，僅為3*2.5*0.83；支持浮點(diǎn)運(yùn)算，同時(shí)也支持神經(jīng)網(wǎng)絡(luò)。基于32位的哈佛架構(gòu)，最高主頻可達(dá)10MHz，最大輸出數(shù)據(jù)達(dá)到6.6KHz。

ISPU的優(yōu)勢(shì)很明顯，首先在功耗方面，如果將傳感器融合算法運(yùn)行到ISPU中，5MHz功耗僅為200μA。但是，如果運(yùn)行在Cortex-M0上，即使主頻為4MHz，功耗也需要1300μA?？梢姡琁SPU傳感器融合的功耗是比M0低5倍。此外，由于ISPU是DSP直接集成在傳感器中，可以直接獲取類似加速度儀等傳感器的處理數(shù)據(jù)，無需總線參與，從而降低系統(tǒng)的負(fù)載和功效。在104Hz頻率下讀取數(shù)據(jù)時(shí)，ISPU僅僅耗費(fèi)1μA，而Cortex-M0在4MHz時(shí)就已經(jīng)需要94.4個(gè)μA。

當(dāng)ODR增大，ISPU運(yùn)行速率加快時(shí)，功耗差距越大。例如，當(dāng)883Hz去提取加速度數(shù)據(jù)時(shí)，ISPU功耗僅為7.5μA，而Context-M0為747μA，兩者的差距已達(dá)百倍。當(dāng)然，對(duì)于其他算法，如傾角檢測(cè)，排氣檢測(cè)，傳感器融合，手腕傾斜（比如手表穿帶的翻腕亮屏功能），ISPU的功耗也很低。

其次是ISPU的AI優(yōu)勢(shì) — ISPU提供更多選擇和更大自由的自學(xué)習(xí)方案：一方面，它可以支持機(jī)器學(xué)習(xí)，如決策樹，Scikit-learn；另一方面，它也支持深度學(xué)習(xí)算法，如常見的QKeras、TensorFlow、ONNX等，同時(shí)，我們采用ISPU的編譯器，將基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法模型進(jìn)行編譯，生成ISPU可運(yùn)行的UCF配置文件，通過MCU將該配置文件寫入ISPU，即可運(yùn)行算法。這可以廣泛應(yīng)用于個(gè)人電子產(chǎn)品（如穿戴設(shè)備，頭戴設(shè)備等）以及工業(yè)領(lǐng)域的事件監(jiān)測(cè)等。

ISPU的運(yùn)行原理：

在LSM6DSO16IS/ISM330IS的IMU內(nèi)部框架中，傳感器hub可以通過I2C連接外部磁力計(jì)和氣壓計(jì)等設(shè)備。ISPU可以通過內(nèi)部的IMU傳感鏈直接讀取外部的傳感器（地磁或氣壓計(jì)）和內(nèi)部的加速度、陀螺儀和溫度數(shù)據(jù)。ISPU支持運(yùn)行最多30個(gè)算法，但由于ISPU是單核，它以串型的方式運(yùn)行，每一個(gè)算法都可以產(chǎn)生一個(gè)中斷信號(hào)，通知主控發(fā)生的中斷事件。

ISPU可以通過I2C與SPI與主控連接，同時(shí)通過多種寄存器跟主控交互。例如，如果主控需要配置參數(shù)，可以通過總線將參數(shù)寫到ISPU的配置寄存器對(duì)ISPU進(jìn)行配置，而標(biāo)志寄存器可以通過總線實(shí)現(xiàn)主控和ISPU的數(shù)據(jù)交互。此外，ISPU輸出數(shù)據(jù)寄存器可以在中斷發(fā)生后將數(shù)據(jù)送出，告知MCU當(dāng)前發(fā)生了什么事件。

ISPU開發(fā)流程：

首先是基于ISPU代碼進(jìn)行編碼，使用工具鏈將其編譯成ISPU二進(jìn)制文件。然后，將該ISPU二進(jìn)制文件與傳感器配置文件（configureTXT）傳感器配置文件一起使用工具生成ISPU.h或者.UCF配置文件。將這些文件復(fù)制到MCU的應(yīng)用程序代碼中，加載ISPU程序并讀取算法結(jié)果，使用ARM工具鏈進(jìn)行編譯，生成應(yīng)用.bin文件，最后將應(yīng)用.bin文件燒錄到MCU中運(yùn)行。

ISPU軟件的開發(fā)工具有3種：1）基于命令行工具CLI

命令行主要在Windows下使用，通過CMD輸入命令來實(shí)現(xiàn)編譯工作。

采用這種方法，開發(fā)之前需要先安裝ISPU編譯工具鏈，并在Windows里安裝make工具。然后可以基于我們提供ISPU模版開發(fā)Norm算法，修改傳感器配置，通過json輸出文件進(jìn)行編譯，再通過GUI連接板子并連上電腦，使能ISPU。

2）基于Eclipse的IDE

如STM32CubeIDE，可以編輯代碼及編譯ISPU程序。開發(fā)時(shí)需要先下載安裝Eclipse插件，然后導(dǎo)入工程進(jìn)行編譯。

3）GUI

采用AlgoBuilder，無需編寫代碼，只需要在軟件中拖拽不同模塊進(jìn)行連接，即可自動(dòng)生成代碼。用戶需要先在ST官網(wǎng)上下載AlgoBuidler、STM32CubeIDE、STM32CubeProgrammer和Unico-GUI軟件并安裝，通過設(shè)置后即可實(shí)現(xiàn)零代碼設(shè)計(jì)，基于模塊固件編譯和燒寫以及調(diào)用Unicleo-GUI。

以下便是我們的一個(gè)演示視頻，在Unicleo-GUI打開過程自動(dòng)連接通過USB線插入電腦的硬件開發(fā)套件，當(dāng)移動(dòng)評(píng)估板的時(shí)候，3D頭像會(huì)跟隨展示對(duì)應(yīng)的空間姿態(tài)。

在我們的視頻課程里還包括了如何將ISPU代碼集成到MCU的更詳盡的解說，各位可自行前往觀看講解。

END

相關(guān)閱讀

?技術(shù)干貨 | 傳感器的智能之路和實(shí)現(xiàn)之道（上）

?ST TMOS熱敏紅外傳感器: 精準(zhǔn)檢測(cè)人員存在和移動(dòng)

?意法半導(dǎo)體全新多區(qū)測(cè)距TOF傳感器：高達(dá)90度視場(chǎng)角堪比相機(jī)水準(zhǔn)

?長(zhǎng)按二維碼關(guān)注，了解更多信息專業(yè)| 科技 | 有范▲長(zhǎng)按關(guān)注意法半導(dǎo)體中國(guó)