什么是圖像信號處理器？TI LM98519芯片功能框圖解析

嵌入式處理器可分為兩大類：微控制器和數(shù)字信號處理器 (DSP)。盡管微控制器與 DSP 之間的分界線越來越模糊，但將一個部件放入一個容器或另一個容器中通常并不難。

與微控制器不同，DSP 針對實時音頻處理、軟件無線電和人工智能 (AI) 等應(yīng)用中涉及的高速數(shù)學和數(shù)據(jù)傳輸操作進行了優(yōu)化。本文將探討稱為圖像信號處理器 (ISP) 的處理芯片。請注意，將 ISP 作為 DSP 類別中的一個子組包括在內(nèi)是合理的；然而，隨著實時圖像處理應(yīng)用程序的激增以及 ISP 變得越來越強大和通用，我們認為給它們一個單獨的類別是有意義的。

總的來說，本文旨在展示圖像、圖像信號和媒體處理器的一些示例，以了解專業(yè)術(shù)語之間的細微差別，并了解這些不同類型產(chǎn)品之間的界限有多模糊。

對專用圖像處理硬件的需求

通用的數(shù)字信號處理器（DSP），例如德州儀器(Texas Instruments)的C66x系列或ADI的Blackfin處理器，是能夠處理圖像數(shù)據(jù)的兩個例子。然而，需要認識到圖像系統(tǒng)對處理硬件有特殊要求，圖像信號處理器（ISP）通常比通用DSP更高效地完成任務(wù)。

也許最重要的考慮因素是數(shù)據(jù)的數(shù)量之巨。如果以44.1 kHz的采樣率和16位的分辨率對音頻進行采樣，實時的DSP應(yīng)用每秒將處理88,200字節(jié)的音頻數(shù)據(jù)。而一臺連續(xù)以每秒一幀的速度拍攝的2400萬像素數(shù)碼單反相機則處于完全不同的領(lǐng)域；即使我們假設(shè)每個像素占用一個字節(jié)，我們每秒也要處理超過2400萬字節(jié)的數(shù)據(jù)。某些圖像處理算法相當復雜，當涉及這么多數(shù)據(jù)時，專用硬件模塊比由負荷過重的中央處理單元（CPU）執(zhí)行的自定義代碼例程更可取。

這個例子還說明了為什么 ISP 可能需要以并行處理能力或作為芯片上的多核系統(tǒng)來實現(xiàn)。當所有這些圖像數(shù)據(jù)流入時，相機的計算電子設(shè)備必須能夠支持其他功能——例如焦點跟蹤或自動曝光。?

什么是圖像信號處理器？

這個問題并不像我想的那么簡單。首先，讓我們考慮一下德州儀器 (TI) 的“成像信號處理器”?LM98519 。在下面的圖 1 中，我們可以看到該芯片的功能框圖。

圖1. 框圖取自 LM98519 數(shù)據(jù)表。圖片由TI提供

在此示例產(chǎn)品中，此 ISP 只是用于基于電荷耦合器件 (CCD)的成像器的數(shù)據(jù)轉(zhuǎn)換器?；旧希诎纂娖胶秃陔娖椒答佅到y(tǒng)的幫助下對兩個多路復用 CCD 輸出波形進行采樣和數(shù)字化。但是，我發(fā)現(xiàn)術(shù)語成像信號處理器也用于指代為互補金屬氧化物半導體 (CMOS)傳感器設(shè)計的英特爾硬件和用于高動態(tài)范圍視頻處理的 IP 核。在圖 2 中，是標識為“圖像信號處理器”（因此不完全是圖像信號處理器）的另一部分的框圖。

圖 2.該圖取自 Arm 的 Mali-C55 ISP 的數(shù)據(jù)表。圖片由Arm提供

盡管術(shù)語幾乎相同，但這部分顯然屬于不同的類別并且具有更廣泛的功能。這個Arm ISP對圖像數(shù)據(jù)執(zhí)行各種復雜的數(shù)學運算：

缺陷修正

降噪

去馬賽克以從拜耳過濾像素中提取 RGB 值

顏色空間轉(zhuǎn)換等

德州儀器的達芬奇（DaVinci )處理器，如圖 3 所示，甚至比 Arm ISP 的集成度更高：

圖 3. DMVA3/DMVA4 數(shù)據(jù)表中的框圖。圖片由TI提供

在這里，您可以看到用于圖像處理操作的硬件與微處理器和大量可供選擇的數(shù)字外圍設(shè)備相結(jié)合。TI 將此設(shè)備稱為“數(shù)字媒體處理器”（digital media processor），盡管它可以被描述為圖像信號處理器（ image signal processor）。實際上，TI 使用術(shù)語圖像信號處理器來表示達芬奇“成像子系統(tǒng)”中的一個部分。

最后，Socionext 在其Milbeaut產(chǎn)品線中同時使用了圖像信號處理器和成像處理器這兩個術(shù)語（ image signal processor and imaging processor）。Milbeaut 設(shè)備是用于照片和視頻應(yīng)用的多處理器片上系統(tǒng) (SoC)解決方案，它們的獨特之處在于可以作為尼康 DSLR 和無反光鏡相機中功能異常強大的EXPEED 處理器的基礎(chǔ)。Milbeaut 的能力包括：

降噪

除霧

電子圖像穩(wěn)定

人臉檢測（這對高級自動對焦很重要）

鏡頭畸變校正

總結(jié)

圖像信號處理器( image signal processor )表示?與 LM98519 相當?shù)脑O(shè)備（因為焦點是來自圖像傳感器的信號）。

圖像處理器(image processor )?表示與Arm Mali-C55 相當?shù)脑O(shè)備（因為焦點是處理整個圖像）。

媒體處理器?(media processor)專為功能比圖像處理器的功能更復雜或更廣泛的設(shè)備保留。

圖像信號處理器是一種多樣化的數(shù)字或混合信號 IC，專門用于分析和修改視覺數(shù)據(jù)。它們針對靜態(tài)圖像和視頻應(yīng)用中涉及的許多資源密集型處理任務(wù)進行了優(yōu)化，并且它們必須達到極高的復雜性和集成度，才能滿足尖端成像系統(tǒng)的需求。ISP 啟用并增強了許多自動化和用戶友好的功能，這些功能徹底改變了攝影和攝像；其中包括自動曝光控制、自動對焦、自動白平衡、物體檢測、圖像穩(wěn)定和降噪。

編輯：黃飛

?