ISP的新方向

圖像信號處理（Image Signal Processor，ISP）傳統(tǒng)上是多媒體市場的重要芯片支柱。從數(shù)字照相機到智能手機，ISP在一切需要拍攝圖像的領(lǐng)域都扮演著重要的作用。而隨著社會生活智能化的進一步提升，ISP也在進入許多新的市場應(yīng)用領(lǐng)域，而這些新的智能場景對于ISP提出了新的需求。

首先是自動駕駛/輔助駕駛領(lǐng)域。機器視覺是自動駕駛/輔助駕駛的支柱技術(shù)，如果沒有機器視覺那么這些新的智能駕駛技術(shù)恐怕都很難成功。在自動駕駛/輔助駕駛領(lǐng)域，ISP扮演著重要的角色。ISP負(fù)責(zé)把原始影像（RAW Image）作相應(yīng)處理，使之成為能夠更好地被機器視覺模型處理的圖像。在這個過程中，為了確保自動駕駛/輔助駕駛技術(shù)的可靠性，需要確保在低光照等情況下機器視覺模型也能正確工作，這就需要ISP能對于圖像做夜視和降噪處理。傳統(tǒng)上可以通過提高曝光時間來降低噪聲的影響，然而對于自動駕駛/輔助駕駛這類對于延遲非常敏感的場景，提高曝光時間并非一個有用的選項，這就需要ISP能夠使用下一代降噪和夜視技術(shù)來滿足相應(yīng)的需求。

在自動駕駛/輔助駕駛之外，安防也是對于ISP技術(shù)有新需求的新智能場景。安防場景中，也需要處理各種低光照等場景，為了確保成像質(zhì)量不受影響，也需要ISP能很好地處理這些場景，從而確保安防監(jiān)控能真正在所有時間段和所有場景下都能提供保護。

最后，在多媒體場景下（如手機等），拍攝也在越來越智能化，用戶對于拍攝成像質(zhì)量的需求也在逐漸提升，除了和前述相似的夜景拍攝之外，還有各種智能化的需求，包括自動場景識別（從而能夠根據(jù)場景自動調(diào)用最佳的傳感器設(shè)定），自動人臉檢測（從而確保自動曝光和對焦等算法的準(zhǔn)確性），超分辨（從而實現(xiàn)更好的遠(yuǎn)距離拍攝）等等。這些都要么需要對原有的ISP功能做改進，要么就是需要ISP引入新的功能，從而確保用戶體驗。

人工智能能解決ISP的技術(shù)挑戰(zhàn)

在前述的智能化應(yīng)用中，事實上使用新一代的人工智能神經(jīng)網(wǎng)絡(luò)往往是夜視、場景識別、人臉檢測、超分辨等的最佳解決方案。

從夜視降噪來說，目前的最優(yōu)解決方案就是使用神經(jīng)網(wǎng)絡(luò)來完成降噪。由于噪聲是一個隨機過程，因此很難有解析的公式來完成降噪；而是用神經(jīng)網(wǎng)絡(luò)則可以通過收集大量的同一個場景的低光照／高光照照片對來實現(xiàn)訓(xùn)練，確保神經(jīng)網(wǎng)絡(luò)能在訓(xùn)練數(shù)據(jù)集上能夠?qū)⒌凸庹照掌瑪M合到高光照照片上，這樣當(dāng)訓(xùn)練數(shù)據(jù)量足夠大的時候，該神經(jīng)網(wǎng)絡(luò)就能夠有很好的泛化能力，從而在所有的場景下都能夠完成夜視降噪。如下圖所示，右邊使用人工智能神經(jīng)網(wǎng)絡(luò)的解決方案效果遠(yuǎn)遠(yuǎn)好于傳統(tǒng)ISP的夜視降噪方案。

除了夜視降噪之外，超分辨是人工智能另一個有顯著優(yōu)勢的場景。超分辨和夜視降噪一樣，很難對于整個問題做數(shù)學(xué)上的建模，但是通過大量數(shù)據(jù)的學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)非常好的超分辨效果，其效果遠(yuǎn)遠(yuǎn)超過普通的數(shù)字變焦，從而可以以較低的硬件成本（無需高倍鏡頭）就能實現(xiàn)很好的用戶體驗。

最后，對于場景識別、人臉檢測等功能來說，本來人工智能就已經(jīng)在這類場景得到大量的廣泛應(yīng)用，因此把相關(guān)的模型使用到ISP相關(guān)的領(lǐng)域，讓ISP來根據(jù)模型的輸出來做相關(guān)的拍攝參數(shù)調(diào)整，也是自然不過的選擇。值得注意的是，場景識別和人臉檢測使用神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度會比使用其他傳統(tǒng)方法高許多（判斷錯誤的概率甚至可以低一個數(shù)量級），因此未來使用人工智能也是自然的方向。

人工智能與ISP的整合

回到芯片設(shè)計的角度，為了在ISP中加入人工智能的元素，就需要對于ISP做相應(yīng)的調(diào)整，來和人工智能做整合。

眾所周知，這一代的基于神經(jīng)網(wǎng)絡(luò)的人工智能的一個重要特點是神經(jīng)網(wǎng)絡(luò)參數(shù)多，計算量大，因此為了滿足ISP的相關(guān)需求，需要能有一個能高效處理人工智能計算的相應(yīng)模塊（AI引擎）來滿足ISP的需求。同時需要注意的是，由于ISP對于延遲和功耗都有需求，因此AI引擎也必須考慮這兩方面的因素。

為此，有兩種不同的ISP整合人工智能解決方案。第一種方案是把ISP和AI引擎整合到一起，在同一個IP模塊里面。這樣做的好處在于ISP和AI引擎耦合度較高，因此能夠通過ISP和AI引擎的協(xié)同優(yōu)化來實現(xiàn)較高的延遲和功耗。舉例來說，ISP往往是一個流水線，處理像素的時候也是分批處理（而不會一直是等到所有像素都傳到之后再處理）；另一方面，基于卷積神經(jīng)網(wǎng)絡(luò)的AI模型也可以利用類似的流水線特性，將像素分批處理。通過將ISP和AI引擎深度整合在一起，就可以協(xié)同設(shè)計這樣的流水線，從而實現(xiàn)更好的延遲。另外，神經(jīng)網(wǎng)絡(luò)和ISP事實上對于DRAM訪問都有很高的需求，如果能夠?qū)SP和AI引擎通過深度整合來協(xié)同優(yōu)化內(nèi)存訪問的調(diào)度，從而確保兩者不會同時大量訪問內(nèi)存，將會大大減少對于DRAM帶寬的壓力。然而，這樣設(shè)計的問題在于AI引擎只能被ISP調(diào)用，因此如果ISP不工作的時候，AI引擎事實上就不會被打開，從而就有了dark silicon（芯片面積浪費）的問題；另外ISP和AI引擎的協(xié)同設(shè)計很多時候是假設(shè)AI引擎會跑幾個固定的模型，如果想要更新模型的話類似的硬件上固化的設(shè)計就不再是最優(yōu)的了。

除了深度整合之后，另一種設(shè)計思路是將ISP和AI引擎分開，但是確保ISP可以AI引擎之間有順暢的數(shù)據(jù)通路，同時確保ISP有高優(yōu)先級調(diào)用AI引擎。這樣的好處是AI引擎不會被浪費，就是ISP不啟動的時候也可以給其他應(yīng)用調(diào)用；另外可以靈活配置使用在AI引擎中的模型，從而讓ISP中使用的神經(jīng)網(wǎng)絡(luò)模型可以使用軟件控制。當(dāng)然，由于ISP和AI引擎耦合度較低，這樣也較難深度地為ISP和AI引擎做協(xié)同優(yōu)化，從而在延遲和能效比方面將會有一定成本。

我們認(rèn)為，在這兩種整合模式中，如果目標(biāo)產(chǎn)品本身就是一塊ISP芯片，那么顯然第一種整合方式是最合理的，因為ISP芯片的首要目標(biāo)就是高性能高能效比，而且其AI引擎本來就不會被系統(tǒng)中的其它模塊所調(diào)用。另一方面，如果目標(biāo)產(chǎn)品是ISP IP的話，那么兩種整合方式都有其合理性，對于追求性能的高端ISP IP，我們認(rèn)為更有可能會在ISP中集成一個較為強力的AI引擎，確保高性能高能效比；對于中端的ISP IP，未來的方向可能是在ISP IP中整合進一個較為基本的AI引擎，來確保基本的相關(guān)模型可以運行，同時也會在ISP上留夠接口，使得ISP能通過片內(nèi)互聯(lián)的方式來訪問SoC上的其他AI引擎，從而如果需要運行較大的模型時候可以使用其他的AI引擎實現(xiàn)。

AI ISP在芯片業(yè)界已經(jīng)漸成主流

AI ISP事實上已經(jīng)得到了半導(dǎo)體業(yè)界的重視，相關(guān)的產(chǎn)品已經(jīng)漸漸問世。

去年年底，海思就宣布推出了下一代用于安放場景的越影ISP芯片，其主要的亮點就是通過與AI引擎的深度整合，實現(xiàn)夜視降噪的高效處理。同樣是在去年，Oppo發(fā)布了自研的馬里亞納ISP芯片，其主要特點也是通過整合高達(dá)18TOPS算力的AI引擎，從而實現(xiàn)4K影像的實時夜視降噪，從而為手機用戶帶來全新的用戶體驗。

在今年，也有越來越多的廠商推出了AI ISP。今年年初，安霸在CES上發(fā)布了AISP，該產(chǎn)品充分利用了安霸在圖像和AI領(lǐng)域的積累，從而實現(xiàn)高效的下一代ISP；上個月，芯原也推出了AI-ISP的IP，同樣是針對夜視降噪場景；愛芯元智的愛芯智眸AI-ISP也正式發(fā)布，通過將ISP中的幾個關(guān)鍵硬件模塊抽離并用AI算法取而代之，實現(xiàn)整個AI ISP的最佳效果。

如前所述，隨著自動駕駛/輔助駕駛、安防、消費電子的進一步智能化，相應(yīng)的對于ISP的需求正在推動ISP和人工智能做整合，而上述公司的新產(chǎn)品也恰好是針對了這些重要的應(yīng)用場景。我們認(rèn)為，隨著智能化的進一步加深，AI將會成為ISP中越來越重要的一個環(huán)節(jié)，未來ISP芯片和IP中也會看到AI引擎的進一步整合。