關(guān)于機(jī)器視覺與芯片之間的聯(lián)系和分析

廣州云從信息科技有限公司(簡稱云從科技)是一家專注于計(jì)算機(jī)視覺與人工智能的高科技企業(yè)，核心技術(shù)源于四院院士、計(jì)算機(jī)視覺之父——ThomasS.Huang黃煦濤教授。核心團(tuán)隊(duì)曾于2007年到2011年6次斬獲智能識(shí)別世界冠軍，得到上市公司佳都科技與香港杰翱資本的戰(zhàn)略投資。公司主要技術(shù)團(tuán)隊(duì)來自中國科學(xué)院重慶分院，是中科院研發(fā)實(shí)力最雄厚的人臉識(shí)別團(tuán)隊(duì)，并作為中科院戰(zhàn)略性先導(dǎo)科技專項(xiàng)的唯一人臉識(shí)別團(tuán)隊(duì)，代表參與了新疆喀什等地安防布控。

格靈深瞳是一家將計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)應(yīng)用于商業(yè)領(lǐng)域的科技公司，自主研發(fā)的深瞳技術(shù)在人和車的檢測、跟蹤與識(shí)別方面居于世界領(lǐng)先水平。公司借助海量數(shù)據(jù)，讓計(jì)算機(jī)像人一樣看懂這個(gè)世界，實(shí)時(shí)獲取自然世界正在發(fā)生的一切，打造自然世界的搜索引擎。華為海思在機(jī)器視覺這塊也積極布局，但是目前還沒有成熟量產(chǎn)CV芯片推出。

中星微電子

中星微電子是國內(nèi)為數(shù)不多的一家機(jī)器視覺芯片設(shè)計(jì)公司，其芯片的主要功能在人臉識(shí)別領(lǐng)域的應(yīng)用。2016年6月20日，中星率先推出中國首款嵌入式神經(jīng)網(wǎng)絡(luò)處理器（NPU）芯片中星微，這是全球首顆具備深度學(xué)習(xí)人工智能的嵌入式視頻采集壓縮編碼系統(tǒng)級(jí)芯片，并取名“星光智能一號(hào)”。這款基于深度學(xué)習(xí)的芯片運(yùn)用在人臉識(shí)別上，最高能達(dá)到98%的準(zhǔn)確率，超過人眼的識(shí)別率。該芯片于2016年3月6日實(shí)現(xiàn)量產(chǎn)，目前出貨量為十幾萬件。該NPU采用了“數(shù)據(jù)驅(qū)動(dòng)”并行計(jì)算的架構(gòu)，單顆NPU（28nm）能耗僅為400mW，極大地提升了計(jì)算能力與功耗的比例，可以廣泛應(yīng)用于高清視頻監(jiān)控、智能駕駛輔助、無人機(jī)、機(jī)器人等嵌入式機(jī)器視覺領(lǐng)域。

圖四：中星微NPU框架

國外發(fā)展

NEXTCHIP

韓國NEXTCHIP公司1997年成立，2007年在韓國已經(jīng)上市，是一個(gè)以圖像處理技術(shù)為主的公司。公司的產(chǎn)品設(shè)計(jì)視頻監(jiān)控、DVR、SOC、自動(dòng)駕駛系統(tǒng)中的核心芯片，均是以圖形處理、傳輸為主的半導(dǎo)體芯片廠家。公司涉及機(jī)器視覺領(lǐng)域芯片是在自動(dòng)駕駛系統(tǒng)的應(yīng)有中，主打產(chǎn)品APACHE4是瞄準(zhǔn)下一代的ADAS體系的SOC芯片。

APACHE4加入了專用檢測引擎，支持行人檢測、車輛檢測、車道檢測和移動(dòng)物體檢測四種監(jiān)測類型。嵌入其中的CEVA-XM4圖像和視覺平臺(tái)可讓APACHE4的客戶使用高階軟件編程來開發(fā)差異化的ADAS應(yīng)用，具體應(yīng)有如下圖，在車輛系統(tǒng)的前后左右都有圖像采集系統(tǒng)，搭配一顆APACHE4，并將采集數(shù)據(jù)送入到圖像分析系統(tǒng)ECU，并將分析結(jié)果送入汽車操控系統(tǒng)。

圖五：APACHE4在汽車自動(dòng)駕駛中應(yīng)用

Movidius

Movidius是一家無晶圓半導(dǎo)體公司，2016年9月英特爾宣布將收購計(jì)算機(jī)視覺創(chuàng)業(yè)公司Movidius，這家公司也是谷歌Project Tango 3D傳感器技術(shù)背后的功臣。Movidius的使命是“為機(jī)器賦予視覺能力”，同時(shí)也將與英特爾的RealSense技術(shù)配合。該公司主要產(chǎn)品為低功耗視覺處理器：Myriad 系列 VPU，而且已經(jīng)與谷歌、聯(lián)想和大疆等公司簽訂了協(xié)議。

DJI大疆宣布推出最新的無人機(jī)產(chǎn)品Phantom 4。這款飛行器采用計(jì)算機(jī)視覺來實(shí)現(xiàn)自主飛行，核心的機(jī)器視覺芯片就是采用了Movidius的Myriad 2芯片。早在2014年，Movidius推出的首顆芯片Myriad 1就應(yīng)用到了谷歌的第一代Project Tango平板中。

2017年8月28日，INTEL宣布推出Movidius Myriad X視覺處理器（VPU），該處理器是一款低功耗SoC，主要用于基于視覺的設(shè)備的深度學(xué)習(xí)和AI算法加速，比如無人機(jī)、智能相機(jī)、VR/AR頭盔。

圖六：Myriad X視覺處理器

Myriad X的推出并不會(huì)取代Myriad 2。Movidius稱，Myriad X能在同一功率范圍內(nèi)的深度神經(jīng)網(wǎng)絡(luò)DNN推理中，提供10倍于Myriad 2的性能。Myriad X擁有Movidius稱之為神經(jīng)計(jì)算引擎（Neural Compute Engine）的功能，這是一種集成在芯片上的DNN加速器。

Movidius稱，有了它，Myriad X的DNN推理吞吐量能達(dá)到每秒超過一萬億次運(yùn)算（TOPS）。除了神經(jīng)計(jì)算引擎，SoC 16還具有可編程矢量處理器，可配置MIPI通道和Vision Accelerator。矢量處理器使您能夠一起運(yùn)行多個(gè)成像和視覺應(yīng)用。

此外，MIPI通道確保您可以將多達(dá)8個(gè)HD-RGB攝像機(jī)直接連接到Myriad X.該芯片可以處理高達(dá)每秒7億像素的圖像信號(hào)。最后，Vision Accelerator可以讓您執(zhí)行光流量和立體聲深度等任務(wù)，而無需額外的計(jì)算能力。與人類相媲美的視覺智能設(shè)備構(gòu)成了計(jì)算的下一步, 隨著低功耗的CV芯片的逐漸發(fā)展，真正的AI離我們越來越近了。

Ambarella

美國安霸（Ambarella）是高清視頻業(yè)界的技術(shù)領(lǐng)導(dǎo)者，主要提供低功耗、高清視頻壓縮與圖像處理的解決方案。2015年安霸收購意大利公司VisLab，計(jì)劃借此進(jìn)入計(jì)算機(jī)視覺芯片市場。

安霸收購VisLab后，包括“計(jì)算機(jī)視覺算法、傳感器融合以及基于算法的感知、探測和決斷”等在內(nèi)的多項(xiàng)核心技術(shù)也將一并納入安霸麾下，同時(shí)安霸的汽車軌跡記錄芯片以及基于攝像頭的系統(tǒng)級(jí)芯片解決方案也是吸引VisLab加入的重要原因。

安霸本身是圖像處理芯片公司，同時(shí)一直在汽車行業(yè)也有出色的芯片應(yīng)用，有了機(jī)器視覺芯片后，安霸在汽車自動(dòng)駕駛領(lǐng)域?qū)?huì)起到更大作用。業(yè)界消息反饋，目前安霸的機(jī)器視覺芯片CV1將在今秋送樣。安霸的CV1未來取決于算法和軟件，最終是有沒有可能投入到龐大的車隊(duì)和達(dá)到LEVEL4的自動(dòng)駕駛水平。

摩根士丹利證券分析師 Joseph Moore 指出，“電腦視覺（computer vision）”蘊(yùn)藏極大商機(jī)，將創(chuàng)造出許多贏家，安霸在影像處理領(lǐng)域的深厚專業(yè)知識(shí)使其處于獨(dú)特的地位。安霸首款電腦視覺芯片將自今年秋季起開始送樣并進(jìn)行必要的車用認(rèn)證程序。如果一切進(jìn)行順利，安霸的電腦視覺芯片可望自明年起開始拉高產(chǎn)量。

Inuitive

Inuitive是一家先進(jìn)的3D計(jì)算機(jī)視覺和圖像處理器設(shè)計(jì)廠家，利用CEVA-XM4智慧視覺DSP的授權(quán)許可，運(yùn)行復(fù)雜的即時(shí)深度感測、特征跟蹤、目標(biāo)識(shí)別、深度學(xué)習(xí)和其它以各種行動(dòng)設(shè)備為目標(biāo)的視覺相關(guān)之演算法。

CEVA圖像和視覺DSP滿足最復(fù)雜計(jì)算攝影和電腦視覺應(yīng)用對(duì)極端處理的需求，比如視頻分析、擴(kuò)增實(shí)境和先進(jìn)駕駛輔助系統(tǒng)(ADAS)。透過從CPU和GPU卸載下這些性能密集型的任務(wù)，這些高效的DSP可大幅降低整體系統(tǒng)的功耗，同時(shí)還可提供完整的靈活性。這些行動(dòng)設(shè)備包括擴(kuò)增實(shí)境和虛擬實(shí)境頭戴耳機(jī)、無人機(jī)、消費(fèi)機(jī)器人、360度相機(jī)和深度感測器等。

圖七：Inuitive視覺處理器NU3000

目前該公司在機(jī)器視覺的芯片有NU3000和NU4000 兩款。NU4000是Inuitive在其NU3000多核影像處理器成功的基礎(chǔ)之上所推出的新款產(chǎn)品；NU3000以第三代的CEVA-MM3101圖像和視覺DSP來提供立體視覺功能，現(xiàn)在是Google Project Tango生態(tài)系統(tǒng)中的一部分，開發(fā)人員能夠利用它來開發(fā)需要即時(shí)深度產(chǎn)生、映射、定位、導(dǎo)航和其它復(fù)雜信號(hào)處理演算法的應(yīng)用。

小結(jié)

從目前的數(shù)據(jù)看，機(jī)器視覺領(lǐng)域目前是一個(gè)巨大的市場，如下圖預(yù)測，預(yù)計(jì)在2018年市場容量將達(dá)到50.43億美元的規(guī)模。面對(duì)如此巨大的市場，并且核心的硬件芯片占了整套視覺系統(tǒng)大概35%的成本的情形下，半導(dǎo)體行業(yè)各個(gè)大公司都對(duì)此領(lǐng)域虎視眈眈。但是因其技術(shù)壁壘較高，需要有成熟的圖像算法方面積累，半導(dǎo)體公司也不敢貿(mào)然進(jìn)入。

中國國內(nèi)大部分是在視覺產(chǎn)品中下游公司，設(shè)計(jì)生產(chǎn)專用機(jī)器視覺芯片公司鳳毛麟角。從中國國內(nèi)機(jī)器視覺專利申請(qǐng)數(shù)量看，在二十年前，幾乎沒有任何的專利創(chuàng)新，2011年，我國機(jī)器視覺專利申請(qǐng)數(shù)為267個(gè)；2012年，我國機(jī)器視覺專利申請(qǐng)數(shù)量為298個(gè)；2013年為101個(gè)，說明國內(nèi)也在不斷重視機(jī)器視覺這個(gè)領(lǐng)域，試圖在產(chǎn)業(yè)的高端有所突破。

放眼全球，INTEL、安霸等半導(dǎo)體巨頭在CV領(lǐng)域早有研究，并且目前有成熟可量產(chǎn)的CV芯片上市，在高端控制了整個(gè)機(jī)器視覺領(lǐng)域，同時(shí)，這些國際大公司也通過自己本身在行業(yè)的影響地位，不斷推動(dòng)CV的各個(gè)行業(yè)的具體應(yīng)用，大力推動(dòng)了整個(gè)CV行業(yè)的高速發(fā)展。

CV芯片未來發(fā)展趨勢

從目前CV芯片的現(xiàn)狀和機(jī)器視覺系統(tǒng)的應(yīng)用來看，芯片領(lǐng)域是一個(gè)非常巨大的市場，是計(jì)算機(jī)視覺未來大規(guī)模應(yīng)用的重要一環(huán)，筆者認(rèn)為未來的CV芯片有下面三大發(fā)展趨勢。

趨勢一：CV芯片的集成度進(jìn)一步提高。隨著半導(dǎo)體加工工藝向6nm邁進(jìn)，單顆CV的集成度將大大提升。更高效的大卷積解構(gòu)與復(fù)用機(jī)制成熟，在超大神經(jīng)網(wǎng)絡(luò)中可以進(jìn)一步減少總線上的數(shù)據(jù)通信，可以適當(dāng)深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)IP更加容易集成；同時(shí)，各種圖形處理算法IP直接固化在CV芯片中，降低了對(duì)GPU的計(jì)算能力依賴。未來的單顆CV芯片，將會(huì)標(biāo)配深度學(xué)習(xí)功能、神經(jīng)網(wǎng)絡(luò)功能和機(jī)器視覺處理、分析功能。

趨勢二：機(jī)器視覺芯片出現(xiàn)細(xì)分。CV芯片將隨著應(yīng)用領(lǐng)域不同而出現(xiàn)細(xì)分，如分為專用的自動(dòng)駕駛CV芯片、無人機(jī)導(dǎo)航CV芯片、AR/VR應(yīng)用CV芯片等。因?yàn)樵谀硞€(gè)特殊領(lǐng)域，隨著機(jī)器視覺算法應(yīng)用需求越來越多，必然帶來成本的需求，以增加產(chǎn)品的利潤，所以，在CV芯片上做costdown，裁減非本領(lǐng)域的應(yīng)用功能，并不斷深化該領(lǐng)域應(yīng)用是必然的。

趨勢三：低功耗，SOC方式。云+端的方式，通過端完成關(guān)鍵的機(jī)器視覺功能，把處理結(jié)果傳回云，利用云端做分析判斷。這種方式優(yōu)勢是減少網(wǎng)絡(luò)帶寬，把視頻處理運(yùn)算由中心分散到前端，這個(gè)筆者一定是未來的一個(gè)重要趨勢。因此，作為端的CV芯片必須是低功耗并且?guī)в幸欢ǖ腃PU功能，需要做到單顆電池續(xù)航能力持久，并且具備一定的數(shù)據(jù)通信、任務(wù)調(diào)度功能。

在不久的將來，機(jī)器眼時(shí)代將全面來臨，我們都準(zhǔn)備好了嗎？