今日推送干貨多多,為關(guān)注嵌入式AI的你量身定制~
1. 澎峰科技CEO張先軼詳解利用AI開發(fā)板實(shí)現(xiàn)面向無人機(jī)的嵌入式視覺應(yīng)用開發(fā)
本文為澎峰科技CEO張先軼在智東西主辦的“無人機(jī)視覺創(chuàng)新論壇”的演講內(nèi)容。張先軼老師的演講主題為《利用AI開發(fā)板實(shí)現(xiàn)面向無人機(jī)的嵌入式視覺應(yīng)用開發(fā)》。
在本次演講中,張先軼老師首先介紹了AI開發(fā)板硬件選型,之后對嵌入式AI軟件性能和相關(guān)算法的優(yōu)化展開詳細(xì)分析。
本文為此次演講的圖文整理。
演講的主題為《利用AI開發(fā)板實(shí)現(xiàn)面向無人機(jī)的嵌入式視覺應(yīng)用開發(fā)》,內(nèi)容主要分為以下3個(gè)部分:
1、AI開發(fā)板硬件選型
2、嵌入式AI軟件性能優(yōu)化
3、嵌入式AI算法模型
2. TensorFlow為新舊Mac特供新版本,GPU可用于訓(xùn)練,速度最高提升7倍
蘋果「一呼百應(yīng)」的號召力在機(jī)器學(xué)習(xí)領(lǐng)域似乎也不例外。新版 Mac 推出還不到兩周,谷歌就把專為 Mac 優(yōu)化的 TensorFlow 版本做好了,訓(xùn)練速度最高提升到原來的 7 倍。
對于開發(fā)者、工程師、科研工作者來說,Mac 一直是非常受歡迎的平臺,也有人用 Mac 訓(xùn)練神經(jīng)網(wǎng)絡(luò),但訓(xùn)練速度一直是一個(gè)令人頭疼的問題。
上周,蘋果發(fā)布了搭載 Arm 架構(gòu) M1 芯片的三款新 Mac,于是就有人想問:用它們訓(xùn)練神經(jīng)網(wǎng)絡(luò)能快一點(diǎn)嗎?
今天,主流機(jī)器學(xué)習(xí)框架 TensorFlow 發(fā)文表示:我們專門做了一版為 Mac 用戶優(yōu)化的 TensorFlow 2.4 框架,M1 版 Mac 和英特爾版 Mac 都能用。這一舉動(dòng)有望大幅降低模型訓(xùn)練和部署的門檻。
4. 420 FPS!LSTR:基于Transformer的車道線檢測網(wǎng)絡(luò)
論文:https://arxiv.org/abs/2011.04233
代碼即將開源!
https://github.com/liuruijin17/LSTR
性能優(yōu)于PolyLaneNet等網(wǎng)絡(luò),速度可高達(dá)420 FPS!
車道線檢測是將車道識別為近似曲線的過程,被廣泛用于自動(dòng)駕駛汽車的車道線偏離警告和自適應(yīng)巡航控制。流行的分兩步解決問題的pipeline:特征提取和后處理。雖然有用,但效率低下,在學(xué)習(xí)全局上下文和通道的長而細(xì)的結(jié)構(gòu)方面存在缺陷。
本文提出了一種端到端方法,該方法可以直接輸出車道形狀模型的參數(shù),使用通過transformer構(gòu)建的網(wǎng)絡(luò)來學(xué)習(xí)更豐富的結(jié)構(gòu)和上下文。車道形狀模型是基于道路結(jié)構(gòu)和攝像頭姿勢制定的,可為網(wǎng)絡(luò)輸出的參數(shù)提供物理解釋。transformer使用自我注意機(jī)制對非局部交互進(jìn)行建模,以捕獲細(xì)長的結(jié)構(gòu)和全局上下文。
該方法已在TuSimple基準(zhǔn)測試中得到驗(yàn)證,并以最輕巧的模型尺寸和最快的速度顯示了最新的準(zhǔn)確性。
此外,我們的方法對具有挑戰(zhàn)性的自收集車道線檢測數(shù)據(jù)集顯示出出色的適應(yīng)性,顯示了其在實(shí)際應(yīng)用中的強(qiáng)大部署潛力。
5. YOLOv4官方改進(jìn)版來了!55.8% AP!速度最高達(dá)1774 FPS,Scaled-YOLOv4正式開源!
論文:
https://arxiv.org/2011.08036
GitHub :https://github.com/WongKinYiu/ScaledYOLOv4
本文是YOLOv4的原班人馬(包含CSPNet一作與YOLOv4一作AB大神)在YOLO系列的繼續(xù)擴(kuò)展,從影響模型擴(kuò)展的幾個(gè)不同因素出發(fā),提出了兩種分別適合于低端GPU和高端GPU的YOLO。
該文提出一種“網(wǎng)路擴(kuò)展(Network Scaling)”方法,它不僅針對深度、寬度、分辨率進(jìn)行調(diào)整,同時(shí)調(diào)整網(wǎng)絡(luò)結(jié)果,作者將這種方法稱之為Scaled-YOLOv4。
由此得到的YOLOv4-Large取得了SOTA結(jié)果:在MS-COCO數(shù)據(jù)集上取得了55.4%AP(73.3% AP50),推理速度為15fps@Tesla V100;在添加TTA后,該模型達(dá)到了55.8%AP(73.2%AP50)。截止目前,在所有公開論文中,YOLOv-Large在COCO數(shù)據(jù)集上取得最佳指標(biāo)。而由此得到的YOLOv4-tiny取得了22.0%AP(42.0%AP50),推理速度為443fps@TRX 2080Ti;經(jīng)由TensorRT加速以及FP16推理,batchsize=4時(shí)其推理速度可達(dá)1774fps。
該文的主要貢獻(xiàn)包含以下幾點(diǎn):
設(shè)計(jì)了一種強(qiáng)有力的“網(wǎng)絡(luò)擴(kuò)展”方法用于提升小模型的性能,可以同時(shí)平衡計(jì)算復(fù)雜度與內(nèi)存占用;
設(shè)計(jì)了一種簡單而有效的策略用于擴(kuò)展大目標(biāo)檢測器;
分析了模型擴(kuò)展因子之間的相關(guān)性并基于最優(yōu)劃分進(jìn)行模型擴(kuò)展;
通過實(shí)驗(yàn)證實(shí):FPN structure is inherently a once-for-all structure
基于前述分析設(shè)計(jì)了兩種高效模型:YOLOv4-tiny與YOLOv4-Large。
6. 人像摳圖已經(jīng)滿足不了研究者了,這個(gè)研究專門給動(dòng)物摳圖!
在這個(gè)圖像和視頻逐漸成為主流媒介的時(shí)代,大家早已對「摳圖」習(xí)以為常,說不定還看過幾部通過「摳圖」拍攝的電視劇呢。然而,相比于人像摳圖,長相各異、渾身毛茸茸的動(dòng)物似乎難度更大。
那么,是否有專用于動(dòng)物的摳圖技術(shù)呢?IEEE 會(huì)士 Jizhizi Li、陶大程等人就開發(fā)了一個(gè)專門處理動(dòng)物摳圖的端到端摳圖技術(shù)。
動(dòng)物的外觀和毛皮特征給現(xiàn)有的方法帶來了挑戰(zhàn),這些方法通常要求額外的用戶輸入(如 trimap)。
為了解決這些問題,陶大程等人研究了語義和摳圖細(xì)節(jié),將任務(wù)分解為兩個(gè)并行的子任務(wù):高級語義分割和低級細(xì)節(jié)摳圖。具體而言,該研究提出了新型方法——Glance and Focus Matting network (GFM),使用共享編碼器和兩個(gè)單獨(dú)的解碼器以協(xié)作的方式學(xué)習(xí)兩項(xiàng)子任務(wù),完成端到端動(dòng)物圖像摳圖。
7. 英特爾發(fā)布首款用于5G、人工智能、云端與邊緣的結(jié)構(gòu)化ASIC
2020年11月18日,在英特爾FPGA技術(shù)大會(huì)上,英特爾發(fā)布了全新可定制解決方案英特爾 eASIC N5X,幫助加速5G、人工智能、云端與邊緣工作負(fù)載的應(yīng)用性能。該可定制解決方案搭載了英特爾 FPGA兼容的硬件處理器系統(tǒng),是首個(gè)結(jié)構(gòu)化eASIC產(chǎn)品系列。英特爾 eASIC N5X通過FPGA中的嵌入式硬件處理器幫助客戶將定制邏輯與設(shè)計(jì)遷移到結(jié)構(gòu)化ASIC中,帶來了更低的單位成本,更快的性能和更低的功耗等好處。
英特爾 eASIC N5X器件作為具有創(chuàng)新性的新產(chǎn)品,與FPGA相比最高可降低50%的核心能耗和成本,與ASIC相比則提升了面市速度,降低了非重復(fù)性工程成本。用戶可以創(chuàng)建功耗優(yōu)化、高性能、高度差異化的解決方案。
8. M1808 AI 核心板搭載5G模塊,助力5G布局工業(yè)領(lǐng)域
關(guān)于5G 的討論,雖然目前更多的是聚焦于智能手機(jī),但事實(shí)上,在5G的大應(yīng)用時(shí)代,智能手機(jī)只是其中很小的一部分,更多的應(yīng)用會(huì)聚焦于工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)等,并悄無聲息地滲透到人們的生活當(dāng)中。
在2020年初,ZLG致遠(yuǎn)電子首款人工智能AI核心板M1808正式發(fā)布。該款核心板采用高端雙核架構(gòu),集成神經(jīng)網(wǎng)絡(luò)處理器NPU,內(nèi)置專業(yè)AI算法,為用戶提供“硬件+軟件+算法”系統(tǒng)化解決方案。M1808還有豐富的外設(shè)接口,便于應(yīng)用擴(kuò)展。視頻支持MIPI/CIF/BT1120輸入,支持MIPI/RGB顯示輸出;具有PWM/I2C/SPI/UART等一系列傳感器輸入輸出接口;具有USB3.0/USB2.0/PCIE等高速設(shè)備接口,因此ZLG M1808 AI核心板同時(shí)支持有方的N510M 5G模塊驅(qū)動(dòng)。
M1808AI核心板搭配5G上網(wǎng)模塊Neoway N510M,產(chǎn)品具有出色的射頻性能,支持 5G、4G、3G,頻段覆蓋廣,支持SA與NSA組網(wǎng)方式,支持Sub-6GHz,覆蓋全面。集成各種網(wǎng)絡(luò)協(xié)議并提供行業(yè)標(biāo)準(zhǔn)接口,最大限度滿足eMBB場景下的超高速數(shù)據(jù)傳輸應(yīng)用,是電力物聯(lián)網(wǎng)、安防監(jiān)控、智慧能源、工業(yè)控制、智慧交通等領(lǐng)域的較好的選擇。
讓物聯(lián)網(wǎng)終端的開發(fā)變得簡單、快速,芯片的價(jià)值得到最大化發(fā)揮。Apache2.0協(xié)議,可免費(fèi)在商業(yè)產(chǎn)品中使用,不需要公布源碼,無潛在商業(yè)風(fēng)險(xiǎn)。
原文標(biāo)題:【嵌入式AI周報(bào)】 M1808 AI 核心板搭載5G模、嵌入式視覺應(yīng)用開發(fā)詳解!
文章出處:【微信公眾號:RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
-
嵌入式
+關(guān)注
關(guān)注
5046文章
18821瀏覽量
298578 -
AI
+關(guān)注
關(guān)注
87文章
28877瀏覽量
266237 -
Mac
+關(guān)注
關(guān)注
0文章
1083瀏覽量
51139 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5422瀏覽量
120593 -
Transformer
+關(guān)注
關(guān)注
0文章
135瀏覽量
5944
原文標(biāo)題:【20201120期嵌入式AI周報(bào)】 M1808 AI 核心板搭載5G模、嵌入式視覺應(yīng)用開發(fā)詳解!
文章出處:【微信號:RTThread,微信公眾號:RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論