用芯彈一首《大加洛普舞曲》：從AI-ISP，透視vivo的雙芯之路

在音樂史上，很多樂章都以極快的節(jié)奏，以及對演奏者超高的要求而聞名。比如李斯特的《大加洛普舞曲》S.219，就以擁有非常多的半音階而著名，被譽(yù)為用手指跳的芭蕾舞。想要出色地完成它，樂手就必須雙手緊密配合，實(shí)現(xiàn)速度與精巧的極致平衡。

對應(yīng)到科技領(lǐng)域，我們會(huì)發(fā)現(xiàn)很多科技創(chuàng)新也依賴這樣高速且精致的協(xié)作，尤其在芯片領(lǐng)域更是如此。軟硬件之間的協(xié)同，架構(gòu)邏輯的協(xié)調(diào)，不同硬件之間的協(xié)作，就像是一首節(jié)奏輕快的鋼琴曲。

這些協(xié)作，讓硬件的能力被充分釋放，讓不同產(chǎn)品之間產(chǎn)生差異化，讓消費(fèi)者最終得到期待的體驗(yàn)?！白匝行酒笔侨缃?a href="http://ttokpm.com/v/tag/107/" target="_blank">手機(jī)市場中的關(guān)鍵詞。vivo X80系列采用了天璣9000和自研V1+芯片的組合，被認(rèn)為是這一趨勢的開局之作。在V1+的基礎(chǔ)上，雙芯格局還能彈奏出怎樣的樂章？雙芯還能給消費(fèi)者帶來哪些悅耳的音色？答案似乎已經(jīng)呼之欲出。

10月24日，vivo舉辦了影像戰(zhàn)略發(fā)布會(huì)。期間，vivo對外發(fā)布了全新的AI-ISP芯片架構(gòu)。有理由相信，新的ISP技術(shù)架構(gòu)將成為vivo自研芯片道路上的關(guān)鍵一環(huán)。或?qū)⒊蔀榻酉聛淼腣2芯片，乃至全新旗艦機(jī)的技術(shù)護(hù)城河。

什么是AI-ISP架構(gòu)？它又將為雙芯方案帶來哪些挑戰(zhàn)？最終為消費(fèi)者帶來哪些價(jià)值？

讓我們從AI-ISP的“音符”說起，一起來看看vivo是怎么把雙芯片這首《大加洛普舞曲》，彈出獨(dú)屬于自己的旋律。

音符：AI-ISP帶來的澎湃之聲

對于消費(fèi)者而言，他會(huì)反復(fù)關(guān)注芯片這個(gè)手機(jī)最底層硬件，是因?yàn)槠渲苯記Q定著大量手機(jī)體驗(yàn)。

在手機(jī)芯片端，ISP起到了對成像輸入質(zhì)量進(jìn)行提升，矯正陰影、校對顏色，并且完成一系列影像降噪、動(dòng)態(tài)范圍調(diào)整的任務(wù)?？梢哉fISP是確保手機(jī)影像能力的關(guān)鍵一環(huán)。

而vivo采取的獨(dú)立ISP芯片戰(zhàn)略，可以通過將大量影像算法封裝到自研芯片中，針對性一系列主SoC芯片不易覆蓋的影像任務(wù)，從而提升用戶的影像體驗(yàn)。

什么是AI-ISP？

AI-ISP架構(gòu)，可以說是將ISP獨(dú)立芯片的能力進(jìn)行了全面升級(jí)，完成了跨越式的技術(shù)迭代。傳統(tǒng)的ISP，主要任務(wù)是批量處理影像數(shù)據(jù)。但其提升方案是相對固定、模式化的。但在消費(fèi)者對影像質(zhì)量有了更復(fù)雜、更嚴(yán)苛要求的今天，僅僅提供這樣的影像提升能力顯然是不夠的。

幾年以來，AI+影像成為了新的解題思路。AI算法可以智能化識(shí)別影像任務(wù)，從而提供更加復(fù)雜，更具差異化與個(gè)性化的影像提升方案。而AI能力的加入帶來一個(gè)直接問題，就是傳統(tǒng)的影像提升單元ISP并不具備AI算力。如果用傳統(tǒng)ISP來結(jié)合AI影像算法，可能帶來時(shí)延過大、能耗過高等問題。

而剛剛亮相的AI-ISP架構(gòu)，可以說結(jié)合了AI技術(shù)與ISP處理單元的優(yōu)勢，相當(dāng)于為ISP芯片加裝了AI大腦。從而可以通過硬件直聯(lián)的方式，將AI計(jì)算融入到ISP當(dāng)中，完成影像任務(wù)的無縫緩沖和處理。最終讓用戶感知到影像處理更加自然、精細(xì)，同時(shí)更多復(fù)雜的AI算法也可以融入到手機(jī)影像單元當(dāng)中。

AI-ISP彈奏出的這個(gè)澎湃音符背后，是一系列vivo在自研芯片領(lǐng)域的技術(shù)加持與能力升級(jí)。

樂譜：芯片架構(gòu)升級(jí)觸發(fā)的技術(shù)重構(gòu)

區(qū)別于以往的ISP架構(gòu)，vivo最新公布的AI-ISP架構(gòu)，實(shí)質(zhì)上是一系列芯片基礎(chǔ)能力的整體升級(jí)。在幾個(gè)關(guān)鍵領(lǐng)域，AI-ISP都采用了最新的自研技術(shù)。幾項(xiàng)能力的疊加，最終實(shí)現(xiàn)芯片在AI任務(wù)處理上有著更強(qiáng)的表現(xiàn)，同時(shí)可以更有效應(yīng)對游戲、影像任務(wù)的AI處理，升級(jí)雙芯片架構(gòu)在硬件封裝AI算法方面的優(yōu)勢。最終將這一系列技術(shù)價(jià)值，在影像側(cè)進(jìn)行直接的體現(xiàn)。

具體而言，AI-ISP架構(gòu)由三方面的技術(shù)能力組合而成。

突破性的內(nèi)存重構(gòu)

在內(nèi)存方面，AI-ISP架構(gòu)應(yīng)用了vivo自研的全新片上內(nèi)存單元，可以極大提升數(shù)據(jù)吞吐速率。相比于業(yè)內(nèi)常用的DDR架構(gòu)內(nèi)存單元，vivo的全新片上內(nèi)存采用了成本更高的DDR-Less架構(gòu)，從而可以有效解決傳統(tǒng)內(nèi)存高延遲、高功耗等一系列問題。配合硬化在芯片中的超大SRAM，實(shí)現(xiàn)了運(yùn)算快、功耗低、延時(shí)低的特征，最終實(shí)現(xiàn)了數(shù)據(jù)吞吐速率高達(dá)1.3萬億bit/s的能力提升。高效率、低功耗的內(nèi)存，是AI任務(wù)與影像處理能力結(jié)合的前提保障。

DLA帶來AI計(jì)算重構(gòu)

在至關(guān)重要的AI計(jì)算領(lǐng)域，vivo的AI-ISP架構(gòu)沒有選擇行業(yè)中通用的張量計(jì)算單元，而是選擇了更適合做復(fù)雜計(jì)算成像運(yùn)算的DLA加速器。

AI任務(wù)在運(yùn)算國產(chǎn)中需要大量的數(shù)據(jù)比較與數(shù)據(jù)擬合，從而帶來了一系列能效比方面的限制。采用DLA加速器的一大優(yōu)點(diǎn)，就是可以大幅減少了數(shù)據(jù)的訪問延遲，從而確保AI任務(wù)的流暢運(yùn)行。同時(shí)，vivo還將封裝在芯片中的算法與DLA加速器進(jìn)行了聯(lián)合定制，實(shí)現(xiàn)軟硬件的協(xié)同優(yōu)化，使得內(nèi)核峰值能效達(dá)到16.3 Tops/w。最終獲得了AI算力方面的業(yè)界領(lǐng)先水平。

全新AI算法的加入

除此之外，vivo自研的ISP芯片還將加入全新的算法效果。比如新升級(jí)了AI-NR降噪算法、HDR影調(diào)融合（Tone mapping）、MEMC插幀算法等先進(jìn)的影像算法，可以更好滿足用戶在夜晚拍攝、動(dòng)態(tài)環(huán)境步驟等領(lǐng)域的影像需求。

其中，AI-NR降噪算法可以結(jié)合新的硬件能力，帶來更好的夜景畫面細(xì)節(jié)，提升了20%的夜景降噪效果；HDR影調(diào)融合（Tone mapping）算法可以配合電影級(jí)的3DLUTs色彩風(fēng)格，滿足專業(yè)用戶的一級(jí)整體調(diào)色、二級(jí)局部調(diào)色的需求。在城市夜景下動(dòng)態(tài)范圍理論最大提升4EV；MEMC插幀算法則可以改善延遲問題。比如可以在1080p 60幀夜景視頻的拍攝中，在在感光能力和動(dòng)態(tài)范圍方面獲得升級(jí)。

據(jù)說，在AI-ISP的加持下，用戶可以在下一代vivo旗艦機(jī)中，實(shí)現(xiàn)露營燈光下拍到天空的星星。那一刻的浪漫，就是AI-ISP譜寫的小夜曲。

定音：等待V2芯片的芭蕾舞？

用戶最關(guān)心的問題，肯定是我們究竟什么時(shí)候可以用到AI-ISP芯片架構(gòu)帶來的全新體驗(yàn)。從目前的爆料，以及vivo的新技術(shù)規(guī)律方面看，這個(gè)目標(biāo)應(yīng)該已經(jīng)不遠(yuǎn)。根據(jù)相關(guān)爆料，vivo即將在X90系列中全機(jī)型實(shí)裝自研芯片V2。作為新一代的vivo自研ISP芯片，V2就將采用AI-ISP的全新架構(gòu)，在影像、游戲顯示等方面帶來全新的用戶體驗(yàn)。

如果確實(shí)是這樣的話，我們將看到vivo在自研芯片的進(jìn)展非常迅猛，甚至可以說是將自研芯片升級(jí)，保持在了與旗艦機(jī)迭代一致的頻率上。我們知道，硬件技術(shù)的迭代并沒有軟件技術(shù)那么容易。想要保持高頻率的硬件升級(jí)，不僅需要提前戰(zhàn)略規(guī)劃，預(yù)判技術(shù)發(fā)展方向，更需要在工程領(lǐng)域投入大量人力物力。如果AI-ISP架構(gòu)真的將在不久后通過V2芯片與用戶見面，那么vivo將必然要解決一個(gè)關(guān)鍵問題：雙芯聯(lián)調(diào)。

雙芯聯(lián)調(diào)的“芭蕾”

近期以來，行業(yè)內(nèi)對于雙芯戰(zhàn)略有了越來越多的關(guān)注和討論，有一種聲音認(rèn)為，雙芯本身并不是特別新穎的技術(shù)思路，產(chǎn)業(yè)門檻也不高。

這種說法有一定的合理性，但要看到的是，雙芯的真正難度在于兩顆芯片漫長、艱苦，且充滿不確定性的聯(lián)合優(yōu)化。在雙芯格局成為定勢的環(huán)境下，雙芯聯(lián)調(diào)正在成為新的產(chǎn)業(yè)護(hù)城河。

客觀上看，雙芯架構(gòu)不僅可以提升手機(jī)的整體性能，還是廠商獲取產(chǎn)品差異化的一條關(guān)鍵賽道。通用SoC加劇的同質(zhì)化現(xiàn)象，在很大程度上可以被雙芯戰(zhàn)略所打破，而這也是消費(fèi)者非常喜聞樂見的。

既然雙芯有價(jià)值，并且門檻沒有想象中那么高，那么為什么vivo在這條賽道上取得了長足領(lǐng)先呢？這里的關(guān)鍵就是雙芯聯(lián)調(diào)。

從AI-ISP架構(gòu)的能力表現(xiàn)上看，我們可以猜測，V2芯片在雙芯聯(lián)調(diào)上采取了更加靈活、先銳的策略。如果不能確保和SoC芯片達(dá)成非常精致的算力平衡、能力互補(bǔ)，V2芯片是不可能在算力與算法上采取如此大突破幅度的。

在聯(lián)合調(diào)優(yōu)方面，V2芯片還有很多故事可以發(fā)掘。就像再好的樂章，最終都需要指法和技巧來彈奏一樣。AI-ISP架構(gòu)的真正難點(diǎn)和不可替代性，在于大量細(xì)顆粒的聯(lián)合調(diào)優(yōu)工作作為支撐。

從AI-ISP架構(gòu)的推出與應(yīng)用，可以看出由vivo所探索、引領(lǐng)的雙芯之路，是一條必須不斷積累經(jīng)驗(yàn)、關(guān)注具體問題的長期主義之路。

用芯片彈奏《大加洛普舞曲》的秘密，就在于千百次去重復(fù)、實(shí)驗(yàn)每一個(gè)音符。慢慢來，才會(huì)比較快。