愛芯智眸AI-ISP架構(gòu)打破傳統(tǒng)ISP成像的‘天花板’

2023年7月19-21日，第五屆世界半導(dǎo)體大會暨南京國際半導(dǎo)體博覽會順利舉行。19日下午，“2023年長三角集成電路產(chǎn)業(yè)創(chuàng)新發(fā)展論壇”在大會同期平行舉辦，愛芯元智高級總監(jiān)張興出席論壇，并發(fā)表了《AI-ISP和端側(cè)AI的發(fā)展》的主題演講。

本屆大會由江蘇省工業(yè)和信息化廳、南京江北新區(qū)管理委員會聯(lián)合主辦，以“芯紐帶，新未來”為主題，旨在向全球業(yè)界呈現(xiàn)一場集行業(yè)交流、渠道聯(lián)動、資源聚合為一體的產(chǎn)業(yè)頂尖盛會。

在長三角集成電路產(chǎn)業(yè)創(chuàng)新發(fā)展論壇上，張興就愛芯智眸AI-ISP的架構(gòu)創(chuàng)新展開了介紹：“目前，愛芯智眸AI-ISP是通過AI賦能ISP Pipeline里最關(guān)鍵的四個模塊——HDR、3DNR、RLTM和Demosaic，即通過AI訓(xùn)練的方式不斷提升這四大模塊的性能，打破傳統(tǒng)ISP成像的‘天花板’。”

在實際應(yīng)用中，愛芯智眸AI-ISP通過迭代軟件模型即可提升性能，快速實現(xiàn)芯片產(chǎn)品畫質(zhì)的升級換代。這意味著，愛芯元智用一顆芯片就能實現(xiàn)對不同場景、不同市場的覆蓋，這既能降低AI綜合應(yīng)用成本，也是對生產(chǎn)力的極大提升。

當(dāng)前，愛芯元智不僅在繼續(xù)優(yōu)化和迭代HDR、3DNR、RLTM和Demosaic相關(guān)的AI算法，也在探索將傳統(tǒng)ISP Pipeline上的其他模塊進行提升以及AI化。此外，愛芯元智另一大核心自研技術(shù)：愛芯通元混合精度NPU，則在算力層面表現(xiàn)優(yōu)異，進一步加快了AI開發(fā)的落地效率。

今年以來，大模型的火熱帶領(lǐng)AI發(fā)展步入新階段，愛芯元智認(rèn)為，基于圖像處理的實時性、可靠性的高要求，以及隱私保護、安全的需求，未來AI將從云端逐漸落地到端側(cè)邊緣側(cè)，這也將對端邊算力提出更高要求。

愛芯元智第三代、第四代芯片所搭載的愛芯通元混合精度NPU都支持Transformer大模型。隨著大模型的發(fā)展，愛芯元智也在積極探索通過大模型實現(xiàn)更好的AI-ISP效果，以技術(shù)創(chuàng)新解決低照和高動態(tài)的行業(yè)核心痛點，愛芯智眸AI-ISP打造的黑光全彩相機等新品類，也正在為人們解鎖更多視界，未來或?qū)⒁I(lǐng)一個全新成像時代的到來。
責(zé)任編輯：彭菁