展示圖像、圖像信號(hào)和媒體處理器的一些示例

嵌入式處理器可分為兩大類(lèi)：微控制器和數(shù)字信號(hào)處理器 (DSP)。盡管微控制器與 DSP 之間的分界線越來(lái)越模糊，但將一個(gè)部件放入一個(gè)容器或另一個(gè)容器中通常并不難。

與微控制器不同，DSP 針對(duì)實(shí)時(shí)音頻處理、軟件無(wú)線電和人工智能 (AI) 等應(yīng)用中涉及的高速數(shù)學(xué)和數(shù)據(jù)傳輸操作進(jìn)行了優(yōu)化。本文將探討稱(chēng)為圖像信號(hào)處理器 (ISP) 的處理芯片。請(qǐng)注意，將 ISP 作為 DSP 類(lèi)別中的一個(gè)子組包括在內(nèi)是合理的；然而，隨著實(shí)時(shí)圖像處理應(yīng)用程序的激增以及 ISP 變得越來(lái)越強(qiáng)大和通用，我們認(rèn)為給它們一個(gè)單獨(dú)的類(lèi)別是有意義的。

總的來(lái)說(shuō)，本文旨在展示圖像、圖像信號(hào)和媒體處理器的一些示例，以了解專(zhuān)業(yè)術(shù)語(yǔ)之間的細(xì)微差別，并了解這些不同類(lèi)型產(chǎn)品之間的界限有多模糊。

對(duì)專(zhuān)用圖像處理硬件的需求

通用的數(shù)字信號(hào)處理器（DSP），例如德州儀器(Texas Instruments)的C66x系列或ADI的Blackfin處理器，是能夠處理圖像數(shù)據(jù)的兩個(gè)例子。然而，需要認(rèn)識(shí)到圖像系統(tǒng)對(duì)處理硬件有特殊要求，圖像信號(hào)處理器（ISP）通常比通用DSP更高效地完成任務(wù)。

也許最重要的考慮因素是數(shù)據(jù)的數(shù)量之巨。如果以44.1 kHz的采樣率和16位的分辨率對(duì)音頻進(jìn)行采樣，實(shí)時(shí)的DSP應(yīng)用每秒將處理88,200字節(jié)的音頻數(shù)據(jù)。而一臺(tái)連續(xù)以每秒一幀的速度拍攝的2400萬(wàn)像素數(shù)碼單反相機(jī)則處于完全不同的領(lǐng)域；即使我們假設(shè)每個(gè)像素占用一個(gè)字節(jié)，我們每秒也要處理超過(guò)2400萬(wàn)字節(jié)的數(shù)據(jù)。某些圖像處理算法相當(dāng)復(fù)雜，當(dāng)涉及這么多數(shù)據(jù)時(shí)，專(zhuān)用硬件模塊比由負(fù)荷過(guò)重的中央處理單元（CPU）執(zhí)行的自定義代碼例程更可取。

這個(gè)例子還說(shuō)明了為什么 ISP 可能需要以并行處理能力或作為芯片上的多核系統(tǒng)來(lái)實(shí)現(xiàn)。當(dāng)所有這些圖像數(shù)據(jù)流入時(shí)，相機(jī)的計(jì)算電子設(shè)備必須能夠支持其他功能——例如焦點(diǎn)跟蹤或自動(dòng)曝光。?

什么是圖像信號(hào)處理器？

這個(gè)問(wèn)題并不像我想的那么簡(jiǎn)單。首先，讓我們考慮一下德州儀器 (TI) 的“成像信號(hào)處理器”?LM98519 。在下面的圖 1 中，我們可以看到該芯片的功能框圖。

圖1. 框圖取自 LM98519 數(shù)據(jù)表。圖片由TI提供

在此示例產(chǎn)品中，此 ISP 只是用于基于電荷耦合器件 (CCD)的成像器的數(shù)據(jù)轉(zhuǎn)換器?；旧?，它在白電平和黑電平反饋系統(tǒng)的幫助下對(duì)兩個(gè)多路復(fù)用 CCD 輸出波形進(jìn)行采樣和數(shù)字化。但是，我發(fā)現(xiàn)術(shù)語(yǔ)成像信號(hào)處理器也用于指代為互補(bǔ)金屬氧化物半導(dǎo)體 (CMOS)傳感器設(shè)計(jì)的英特爾硬件和用于高動(dòng)態(tài)范圍視頻處理的 IP 核。在圖 2 中，是標(biāo)識(shí)為“圖像信號(hào)處理器”（因此不完全是圖像信號(hào)處理器）的另一部分的框圖。

圖 2.該圖取自 Arm 的 Mali-C55 ISP 的數(shù)據(jù)表。圖片由Arm提供

盡管術(shù)語(yǔ)幾乎相同，但這部分顯然屬于不同的類(lèi)別并且具有更廣泛的功能。這個(gè)Arm ISP對(duì)圖像數(shù)據(jù)執(zhí)行各種復(fù)雜的數(shù)學(xué)運(yùn)算：

缺陷修正

降噪

去馬賽克以從拜耳過(guò)濾像素中提取 RGB 值

顏色空間轉(zhuǎn)換等

德州儀器的達(dá)芬奇（DaVinci )處理器，如圖 3 所示，甚至比 Arm ISP 的集成度更高：

圖 3. DMVA3/DMVA4 數(shù)據(jù)表中的框圖。圖片由TI提供

在這里，您可以看到用于圖像處理操作的硬件與微處理器和大量可供選擇的數(shù)字外圍設(shè)備相結(jié)合。TI 將此設(shè)備稱(chēng)為“數(shù)字媒體處理器”（digital media processor），盡管它可以被描述為圖像信號(hào)處理器（ image signal processor）。實(shí)際上，TI 使用術(shù)語(yǔ)圖像信號(hào)處理器來(lái)表示達(dá)芬奇“成像子系統(tǒng)”中的一個(gè)部分。

最后，Socionext 在其Milbeaut產(chǎn)品線中同時(shí)使用了圖像信號(hào)處理器和成像處理器這兩個(gè)術(shù)語(yǔ)（ image signal processor and imaging processor）。Milbeaut 設(shè)備是用于照片和視頻應(yīng)用的多處理器片上系統(tǒng) (SoC)解決方案，它們的獨(dú)特之處在于可以作為尼康 DSLR 和無(wú)反光鏡相機(jī)中功能異常強(qiáng)大的EXPEED 處理器的基礎(chǔ)。Milbeaut 的能力包括：

降噪

除霧

電子圖像穩(wěn)定

人臉檢測(cè)（這對(duì)高級(jí)自動(dòng)對(duì)焦很重要）

鏡頭畸變校正

總結(jié)

圖像信號(hào)處理器( image signal processor )表示?與 LM98519 相當(dāng)?shù)脑O(shè)備（因?yàn)榻裹c(diǎn)是來(lái)自圖像傳感器的信號(hào)）。

圖像處理器(image processor )?表示與Arm Mali-C55 相當(dāng)?shù)脑O(shè)備（因?yàn)榻裹c(diǎn)是處理整個(gè)圖像）。

媒體處理器?(media processor)專(zhuān)為功能比圖像處理器的功能更復(fù)雜或更廣泛的設(shè)備保留。

圖像信號(hào)處理器是一種多樣化的數(shù)字或混合信號(hào) IC，專(zhuān)門(mén)用于分析和修改視覺(jué)數(shù)據(jù)。它們針對(duì)靜態(tài)圖像和視頻應(yīng)用中涉及的許多資源密集型處理任務(wù)進(jìn)行了優(yōu)化，并且它們必須達(dá)到極高的復(fù)雜性和集成度，才能滿足尖端成像系統(tǒng)的需求。ISP 啟用并增強(qiáng)了許多自動(dòng)化和用戶友好的功能，這些功能徹底改變了攝影和攝像；其中包括自動(dòng)曝光控制、自動(dòng)對(duì)焦、自動(dòng)白平衡、物體檢測(cè)、圖像穩(wěn)定和降噪。

審核編輯：劉清