愛芯派Pro助力大模型落地探索

近日，2023北京微電子國際研討會暨IC WORLD大會在北京舉辦。大會以“凝芯聚力，奮楫揚(yáng)帆”為主題，全面整合集成電路行業(yè)資源，匯聚百余位專家學(xué)者和企業(yè)領(lǐng)袖，助力集成電路產(chǎn)業(yè)向聚集化、鏈條化、高端化方向發(fā)展。

在大模型與智能計(jì)算芯片專場分論壇上，愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉受邀發(fā)表主題演講，向與會嘉賓分享了愛芯元智在邊端智能的落地實(shí)踐，高性能的愛芯通元混合精度NPU和開發(fā)者套件愛芯派Pro受到關(guān)注。

專注感知與計(jì)算

布局三大業(yè)務(wù)線推動普惠智能

作為華北地區(qū)代表性的集成電路大會，北京微電子國際研討會暨IC WORLD大會以極具權(quán)威性、專業(yè)性、前瞻性的高水平產(chǎn)業(yè)與學(xué)術(shù)交流，對促進(jìn)北京乃至中國微電子產(chǎn)業(yè)的國際交流與合作發(fā)揮了重要作用。此次大模型與智能計(jì)算芯片專場分論壇即由北京半導(dǎo)體行業(yè)協(xié)會聯(lián)合多家智能計(jì)算芯片企業(yè)共同呈現(xiàn)，探討了大模型時(shí)代的半導(dǎo)體產(chǎn)業(yè)新機(jī)遇。

“人工智能將來一定是云、邊、端的分布，端側(cè)和邊緣側(cè)智能可能還會更加廣泛?！眲⒔▊ピ诜窒碇斜硎荆磥砣斯ぶ悄懿粌H僅停留在云端，而是將下沉到智慧家庭、智慧工廠、自動駕駛等多個(gè)端側(cè)邊緣側(cè)場景，甚至每個(gè)人都可能擁有一個(gè)AI助理。作為專注感知與計(jì)算，支持邊緣側(cè)和端側(cè)智能的平臺型芯片公司，愛芯元智認(rèn)為，感知即以AI的方式打造物理世界的數(shù)字化入口；計(jì)算則是對感知形成的大量數(shù)據(jù)進(jìn)行處理，用AI算法對數(shù)據(jù)做高效利用。

自2019年成立以來，愛芯元智已推出了四代多顆端側(cè)邊緣側(cè)AI視覺處理芯片，全面布局智慧城市、智能駕駛和智能IoT三大領(lǐng)域。其中，在智能駕駛領(lǐng)域，愛芯元智從量產(chǎn)化思維出發(fā)，目前專注于L2和L2++賽道，推出了ADAS前視一體機(jī)、行泊一體域控制器、CMS等車載應(yīng)用場景解決方案；在智能IoT領(lǐng)域，愛芯元智則為未來機(jī)器人行業(yè)發(fā)展，賦予更多可能。

從智慧城市到智能駕駛再到走入千家萬戶的智能機(jī)器人，普惠智能發(fā)展前景廣闊。劉建偉在分享中進(jìn)一步指出，在降本、數(shù)據(jù)安全和隱私保護(hù)等挑戰(zhàn)之下，本地算力的需求不斷上漲，這對芯片的設(shè)計(jì)研發(fā)提出了更高的要求，而差異化的產(chǎn)品、更極致的性價(jià)比、數(shù)據(jù)隱私安全問題的突破，也將為芯片企業(yè)帶來更多機(jī)會。

兩大核心技術(shù)引領(lǐng)

愛芯派Pro助力大模型落地探索

面向感知與計(jì)算，愛芯元智推出了愛芯智眸AI-ISP和愛芯通元混合精度NPU兩大自研核心技術(shù)。

愛芯智眸AI-ISP是愛芯元智首創(chuàng)且業(yè)界最早實(shí)現(xiàn)商業(yè)化量產(chǎn)的AI-ISP技術(shù)，其將ISP中的重要模塊如降噪等進(jìn)行AI化，打破傳統(tǒng)成像天花板。在城市夜景拍攝、礦車ADAS、夜間農(nóng)田等復(fù)雜場景下，愛芯智眸AI-ISP能有效進(jìn)行色彩還原、暗光降噪，讓“黑夜如白晝”，讓攝像頭“看得清”。

愛芯通元混合精度NPU則基于應(yīng)用、算法、硬件的協(xié)同設(shè)計(jì)，實(shí)現(xiàn)了全方位的性能優(yōu)化，低成本、易使用。據(jù)介紹，愛芯通元混合精度NPU是一個(gè)異構(gòu)多核系統(tǒng)，且支持超線程和混合精度，其中混合精度減少了內(nèi)存墻和功耗墻的阻礙，從而能在端側(cè)、邊緣側(cè)成本受限的情況下提供充沛的有效算力，支持更多智能算法。

同時(shí)，愛芯通元混合精度NPU工具鏈也高效易用，具有功能完善、PTQ量化精度高、算子支持豐富、原版模型支持等突出優(yōu)勢。劉建偉表示，“有客戶從零基礎(chǔ)開始寫code到能在開發(fā)板跑出第一組結(jié)果，大概只用了一小時(shí)”。

實(shí)測數(shù)據(jù)顯示，愛芯通元混合精度NPU在部署傳統(tǒng)的CNN網(wǎng)絡(luò)和當(dāng)下大模型普遍采用的Transformer網(wǎng)絡(luò)時(shí)都有著明顯的性能優(yōu)勢。其中，Transformer網(wǎng)絡(luò)SwinT在愛芯元智第三代高算力、高能效比的SoC芯片AX650N上更表現(xiàn)出色，361 FPS的高性能、80.45%的高精度、原版模型且PTQ量化的易部署能力及199 FPS/W的低功耗，使得AX650N成為Transformer在端側(cè)、邊緣側(cè)落地首選平臺。

此外，為加快AI在端側(cè)、邊緣側(cè)的開發(fā)落地效率，愛芯元智還攜手硬件生態(tài)伙伴推出了開發(fā)者套件愛芯派Pro。值得一提的是，愛芯派Pro可滿足行業(yè)對高性能邊緣智能計(jì)算的需求，幫助用戶快速進(jìn)行產(chǎn)品原型驗(yàn)證和二次開發(fā)，更好地探索Transformer大模型的落地。

未來，愛芯元智將繼續(xù)專注感知與計(jì)算，不斷深入智慧城市、智能駕駛和機(jī)器人等業(yè)務(wù)場景，加速AI在端側(cè)、邊緣側(cè)的落地發(fā)展，讓普惠智能真正走入生活的方方面面，造就更加美好的生活。

審核編輯：彭菁