視海芯圖Transformer加速SoC助力AR/VR設(shè)備性能升級

5月12日，第十三屆松山湖中國IC創(chuàng)新高峰論壇在廣東東莞松山湖凱酒店舉行，本屆活動繼續(xù)由中國半導(dǎo)體行業(yè)協(xié)會IC設(shè)計分會（ICCAD）、芯原微電子、松山湖管委會主辦，東莞松山湖集成電路設(shè)計服務(wù)中心，東莞市生技置業(yè)有限公司承辦。電子發(fā)燒友網(wǎng)受邀參與活動并作現(xiàn)場報道。

成都視海芯圖微電子有限公司創(chuàng)始人許達文認為，很多AI模型的主干網(wǎng)絡(luò)正從CNN轉(zhuǎn)變?yōu)門ransformer，Transformer可以解決終端芯片訪存密集型、不規(guī)則訪存，以及NPU利用率低的難題。

視海芯圖推出了Transformer加速SoC——SH1580芯片，采用12nm工藝，具備自研NPU、高性能主核、高性能圖像處理的特點。SH1580芯片具備2TOPS@INT8有效算力，在圖像處理方面，支持AI-HDR、3D-ToF圖像處理等。

許達文介紹，SH1580芯片的核心技術(shù)為PTPU架構(gòu)，具備定制電路支持Transformer存儲結(jié)構(gòu)和訪存優(yōu)化的特點，另外視海芯圖還設(shè)計了可重構(gòu)數(shù)據(jù)流，同時高效支持CNN和Transformer。

在AR/VR的應(yīng)用中，為了能夠讓數(shù)字世界跟物理世界實現(xiàn)深層次的融合，需要把數(shù)字信息映射到物理世界中。這就需要場景識別功能，還需要支持混合性輸入，包括圖像輸入、語音輸入?！疤貏e是圖像輸入這塊，往往要輸入、接收2D、3D圖像。這么復(fù)雜的一些場景和算法的話，它就需要一個配套的算法來支撐。”許達文表示。而基于Transformer為架構(gòu)的模型能夠結(jié)束一部分問題。

在AR/VR設(shè)備中，SH1580芯片在SLAM中可以做特征點匹配LoFTR、地點識別SVT-Net，另外在AR/VR設(shè)備的應(yīng)用中還能實現(xiàn)語義分割 SegFormer以及三維重建 Point-Bert。傳統(tǒng)CNN算法很難做稀疏紋理匹配，但是Transformer可以做到準(zhǔn)確的無紋理特征識別。

值得一提的是，AR/VR設(shè)備對于需要有低功耗有著一定的需求。SH1580芯片基于12nm工藝。采用電源與芯片架構(gòu)，idle功耗為46mW，超低功耗模式可以做到6mW。該產(chǎn)品在AR眼鏡上已有應(yīng)用案例。