AI 視覺新勢力×微光全彩“黑”科技

大人！時代變了??！一款「3.6TOPS@INT8」視覺 AI 邊緣 Linux 板卡入駐 SIPEED 開源社區(qū)啦?。?！

PART01

MAIX-III AXera-Pi 是什么？

這是一款搭載「愛芯元智 AX620A」的視覺 AI 開發(fā)板，支持 400w 像素 AI ISP 夜景增強(qiáng)算法，在給用戶帶來了出色影像效果的同時，通過多元化的 AI 生態(tài)加持，使得在邊緣設(shè)備部署模型更加快速和容易，比如ResNet50、YOLOv5s、YOLOv7-Tiny、SCRFD、MonoFlex、HRNet、PP-HumanSeg 等模型已實(shí)現(xiàn)部署，未來會借助開源社區(qū)的力量把更多的“模型”進(jìn)一步“落地”！這就是今天給大伙帶來的新品「MAIX-III AXera-Pi」！（可簡稱 m3axpi ）

下文預(yù)計(jì)閱讀時間

1.什么是微光全彩？（閱讀1分鐘）

2.什么是 AI 視覺？（閱讀2分鐘）

3.我們帶來了什么？（閱讀3分鐘）

PART02什么是微光全彩？先來看下面的這張圖，這是傳統(tǒng)去噪（左）和 AI 去噪（右）的效果對比，可以看到 AI 的圖像處理效果在很多領(lǐng)域已經(jīng)遠(yuǎn)超傳統(tǒng)算法的極限了。

AI 微光全彩夜景增強(qiáng)效果微光全彩是指在光線微弱無需補(bǔ)光就能呈現(xiàn)全彩畫質(zhì)，而這款產(chǎn)品的攝像頭在經(jīng)過上述多種AI ISP 圖像算法增強(qiáng)后，就能夠得到以下視頻中「微光全彩」的效果。

以下視頻均來自真實(shí)用戶提供

400w像素有什么特別？SIPEED 從 18 年 K210 30w 到 20 年 V831 200w 再到 22 年 AX620A 400w 像素增長，在這期間的畫質(zhì)有著明顯的進(jìn)步，不妨來看看這個成像進(jìn)化的過程吧！

（左上 30w 右上 200w中下 400w）

PART

03

什么是 AI 視覺？

所謂的 AI 視覺是指將 AI 神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用到計(jì)算機(jī)視覺 CV 領(lǐng)域中，如果說人工智能賦予計(jì)算機(jī)思考的能力，那么計(jì)算機(jī)視覺就是賦予發(fā)現(xiàn)、觀察和理解的能力。一直以來，傳統(tǒng)計(jì)算機(jī)視覺的泛化效果不夠理想，識別過程中往往會受到環(huán)境光照干擾、目標(biāo)的大小與場景變化、物體發(fā)生旋轉(zhuǎn)傾斜等問題的影響。為了解決這些問題引入了 AI 神經(jīng)網(wǎng)絡(luò)模型，并梳理出了計(jì)算機(jī)視覺的四大基本任務(wù)：分類、定位、檢測、分割。

01舉個子？

左圖像分類（object classification)

給 AI 一張圖，就能對這張圖主體是貓、狗還是物體等進(jìn)行分類并顯示名稱，如圖中的車。

中圖像定位（object localization）

給 AI 一張圖，就可以用矩形框出這張圖主體在圖里的具體位置，如圖中被框起來的車。

右圖像檢測（object detection）

可以同時對多個不同的物體進(jìn)行分類和定位，將圖里的事物分別是貓、狗、人臉或物品，通過矩形框出貓、狗、人臉或其他東西在圖里的位置，如圖中被框起來的不同角度的兩輛車。

下圖像分割（object segmentation）

當(dāng)確定了物體的類別與定位，還可以進(jìn)一步的把圖像中需分割的目標(biāo)從背景中分離出來，從下圖來看類似一鍵摳圖的效果。

接著我們來看看在服務(wù)器和開發(fā)板 上的實(shí)際部署情況如何？

02在服務(wù)器上的運(yùn)行結(jié)果

如今在服務(wù)器部署上述 AI 模型已經(jīng)不足為奇！

03在開發(fā)板的運(yùn)行結(jié)果

在過去，因邊緣設(shè)備算力普遍低于1TOPS，導(dǎo)致開發(fā)者往往需要開足馬力才能實(shí)現(xiàn)勉強(qiáng)能用的分類、檢測模型。而如今大幅提升的3.6TOPS算力能游刃有余的跑出與服務(wù)器近似的效果。

實(shí)測 YOLOV5-S 檢測，在輸入 640x640 分辨率的情況下只需要 12~22ms（注：12ms 為不使用 AI-ISP 的情況）而 YOLOV7-Tiny 的則是8 ~ 11 ms。由此可見板端部署 Ai 模型推理速度快，兼容性不錯、模型效果好，3.6T算力是真的香！PART04

我們帶來了什么？

邊緣 AI 社區(qū)Sipeed 開源以邊緣 AI 落地為核心目標(biāo)，為社區(qū)用戶提供 [MaixHub AI] 在線服務(wù)，提供 AI 開發(fā)指南、在線標(biāo)注、模型在線訓(xùn)練、模型轉(zhuǎn)換、模型部署、模型分享等在線內(nèi)容。訓(xùn)練好的模型可在瀏覽器部署，也可部署到邊緣設(shè)備，在線訓(xùn)練或本地訓(xùn)練好的 AI 模型可直接分享到模型庫，未來也將持續(xù)引導(dǎo)社區(qū)里熱情而又活躍的開發(fā)者們踴躍嘗試和分享，為邊緣AI生態(tài)貢獻(xiàn)更多內(nèi)容！

（左：在線標(biāo)注右：在線訓(xùn)練）

一鍵采集上傳數(shù)據(jù)

體驗(yàn)一鍵部署模型

在線 AI 模型分享

多元 AI生態(tài)

（以下內(nèi)容是合作的小伙伴們帶來的）

2022世界人工智能大會：愛芯元智發(fā)布“愛芯智眸”AI-ISP

第五屆世界人工智能大會（WAIC）于上海開幕。今年的大會以“智聯(lián)世界 元生無界”為主題， 聚集了虛擬原生、數(shù)字孿生和空間計(jì)算等元宇宙技術(shù)，展現(xiàn)出人工智能+元宇宙領(lǐng)域的“硬核新科技、產(chǎn)業(yè)新賽道、未來新場景、治理新議題”的全新畫卷。

愛芯元智AX620A獲百度飛槳【I】級兼容性認(rèn)證

飛槳（PaddlePaddle）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件、豐富的工具組件于一體，是中國首個自主研發(fā)、功能豐富、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺。

MAIX-III AXera-Pi & OpenMMLab

OpenMMLab 誕生于 2018 年，是深度學(xué)習(xí)時代計(jì)算機(jī)視覺領(lǐng)域最全面、最具影響力的開源算法體系。旨在為學(xué)術(shù)和產(chǎn)業(yè)界提供一個可跨方向、結(jié)構(gòu)精良、跨站性強(qiáng)、易復(fù)現(xiàn)的統(tǒng)一算法工具庫。