針對(duì)手機(jī)的Milbeaut圖像信號(hào)處理LSI芯片 - 全文

電子發(fā)燒友網(wǎng)12月“處理器與DSP特刊”火熱下載中，缺你怎可！

　　過(guò)去幾年里，隨著高像素?cái)?shù)、高分辨率和全高清錄像和播放功能在智能手機(jī)中的迅速普及，手機(jī)的相機(jī)功能取得了長(zhǎng)足進(jìn)展。雖然手機(jī)的應(yīng)用處理器可以實(shí)現(xiàn)相機(jī)功能，比如快速攝像和在個(gè)人電腦和移動(dòng)終端上瀏覽照片，但許多客戶更喜歡專用圖像信號(hào)處理器（ISP），因?yàn)樗鼈兡芴峁┡c高端緊湊型數(shù)碼相機(jī)相當(dāng)?shù)膱D像質(zhì)量和效果。本文主要講述富士通針對(duì)手機(jī)開(kāi)發(fā)的Milbeaut Mobile圖像信號(hào)處理LSI芯片的開(kāi)發(fā)和性能。

　　1. 引言

　　憑借多樣化的應(yīng)用和功能，智能手機(jī)市場(chǎng)一直在不斷擴(kuò)大。而相機(jī)功能自從2000年被引入手機(jī)中以來(lái)，更是一路穩(wěn)步發(fā)展，到如今已成為能夠進(jìn)行高像素?cái)?shù)、高分辨率和全高清錄像和播放的一項(xiàng)主要手機(jī)功能。

　　Milbeaut Mobile是適用于手機(jī)相機(jī)功能的一個(gè)圖像信號(hào)處理器系列。它由富士通開(kāi)發(fā)，從2003年開(kāi)始暢銷市場(chǎng)。接下來(lái)，我們將對(duì)Milbeaut Mobile系列做簡(jiǎn)要介紹，重點(diǎn)講述最新Milbeaut Mobile處理器MBG046的系統(tǒng)架構(gòu)、配置、功能和處理性能。

　　2. Milbeaut Mobile功能的演變

　　相機(jī)功能是通過(guò)使用一個(gè)安裝在手機(jī)上既小又薄的專用鏡頭和圖像傳感器實(shí)現(xiàn)的。最初這些限制阻礙了手機(jī)提供像數(shù)碼相機(jī)那樣的圖像質(zhì)量。因此，ISP必須能夠在這些嚴(yán)峻的制約條件下將鏡頭和圖像傳感器捕獲到的圖像質(zhì)量提升到用戶滿意的水平。

　　2008年，第三代Milbeaut Mobile ISP集成了這樣的數(shù)碼相機(jī)功能，如靜止圖像連續(xù)自動(dòng)對(duì)焦（CAF）、人臉檢測(cè)和電子運(yùn)動(dòng)補(bǔ)償?shù)鹊龋▓D1）。最新一代ISP（MBG046）幾乎集成了所有相機(jī)功能。它還具有市場(chǎng)所要求的全高清（1920×1080像素）視頻、視頻CAF拍攝能力。

　　最近，隨著成像裝置的像素尺寸進(jìn)一步縮小，像素越來(lái)越高，成像速度越來(lái)越快，圖像質(zhì)量問(wèn)題逐步顯現(xiàn)，ISP功能也在增強(qiáng)。

　　3. ISP架構(gòu)

　　圖像處理器模塊是Milbeaut Mobile ISP的主要功能組件（圖2）。它可順次處理原始影像信號(hào)中從圖像傳感器接收的圖像數(shù)據(jù)，包括去噪和其他校正功能，從而產(chǎn)生美麗的圖像，并將圖像轉(zhuǎn)換成可以在移動(dòng)終端或個(gè)人電腦屏幕上顯示的格式。

　　該模塊還可以利用硬件圖像過(guò)濾器和CPU對(duì)存儲(chǔ)在SDRAM（圖像數(shù)據(jù)存儲(chǔ)裝置）中的圖像數(shù)據(jù)進(jìn)行額外處理（旋轉(zhuǎn)和畸變校正、軟件圖像處理等）。這有助于實(shí)現(xiàn)靈活的高級(jí)圖像處理，如人臉檢測(cè)、高動(dòng)態(tài)范圍（HDR）復(fù)合處理、靜止圖像運(yùn)動(dòng)補(bǔ)償、對(duì)象跟蹤、全景圖像生成與場(chǎng)景檢測(cè)。

　　圖1 Milbeaut Mobile ISP功能的演變。

　　注：AE：自動(dòng)曝光；AF：自動(dòng)對(duì)焦；ARM：利用ARM有限公司構(gòu)建的平臺(tái)進(jìn)行高速處理；AWB：自動(dòng)白平衡；CSC：色彩空間轉(zhuǎn)換；CSI：相機(jī)串行接口；DMAC：直接存儲(chǔ)訪問(wèn)控制器；EXT：外部；GPIO：通用輸入/輸出；I2C：內(nèi)部集成電路；INT：內(nèi)部；MIPI：移動(dòng)行業(yè)處理器接口；PWM：脈寬調(diào)制；SIO：串行輸入/輸出；SPI：串行外設(shè)接口；UDC：USB設(shè)備控制器；YUV：由亮度和色差組成的信號(hào)格式。

　　圖2 MBG046框圖

　　4. MBG046 ISP的功能

　　MBG046是最新一代Milbeaut Mobile ISP處理器。其基本操作包括實(shí)時(shí)轉(zhuǎn)換和校正從傳感器輸出到與外部輸出模塊連接的應(yīng)用處理器（圖2未顯示）的原始影像信號(hào)。因此，該ISP針對(duì)手機(jī)攝像系統(tǒng)進(jìn)行了優(yōu)化，它使得應(yīng)用處理器可以在屏幕上顯示接收到的圖像數(shù)據(jù)，并將數(shù)據(jù)存儲(chǔ)在存儲(chǔ)裝置中，而無(wú)需進(jìn)行修改。

　　1）高速圖像處理

　　如第3部分所述，該圖像處理器可完成基本的圖像處理功能。它能以最多24幀/秒（fps）的速度處理8MB的??圖像，以60fps以上的速度處理高清圖像。

　　作為圖像處理器一部分的預(yù)處理器可接收來(lái)自圖像傳感器的原始影像信號(hào)，并對(duì)其進(jìn)行順次轉(zhuǎn)換和校正處理。它還能收集有關(guān)圖像數(shù)據(jù)的統(tǒng)計(jì)數(shù)據(jù)。這些統(tǒng)計(jì)數(shù)據(jù)被用在軟件運(yùn)算中，可幫助獲取合適的白平衡和曝光時(shí)間。計(jì)算結(jié)果被用于重置硬件，使其能夠完成基本的攝像操作。因此，幾乎所有基本的圖像處理功能都是在硬件中完成的，這有利于實(shí)現(xiàn)高速處理和低功耗。

　　2）強(qiáng)降噪

　　由于Milbeaut Mobile ISP針對(duì)的是內(nèi)置于手機(jī)中的相機(jī)，所以與之配套使用的鏡頭和圖像傳感器通常比數(shù)碼相機(jī)中所用的便宜，這就給圖像質(zhì)量造成了問(wèn)題。在這種情況下，應(yīng)對(duì)圖像噪聲顯得尤為重要。

　　為此，我們給圖像處理器配備了強(qiáng)于數(shù)碼相機(jī)中所用的降低亮度噪聲和色彩噪聲的機(jī)構(gòu)。為了在不損失分辨率的情況下消除噪聲，我們?cè)贛BG046中融入了最新技術(shù)，使其能夠同時(shí)運(yùn)用與圖像特征匹配的不同去噪方法。

　　3）快速圖像處理

　　面向手機(jī)的產(chǎn)品必須被配置為能與下一處理階段中的應(yīng)用處理器連接。除非來(lái)自傳感器的原始影像信號(hào)被轉(zhuǎn)換和校正后，結(jié)果盡快被發(fā)送到應(yīng)用處理器，否則對(duì)響應(yīng)敏感的項(xiàng)目（比如視頻）就會(huì)延時(shí)。如圖2所示，Milbeaut Mobile ISP之所以能達(dá)到這種速度，是因?yàn)樗弥苯影l(fā)送經(jīng)過(guò)圖像處理單元處理的圖像數(shù)據(jù)到圖像輸出單元的功能，替代了通過(guò)SDRAM完成各種插值處理的常見(jiàn)方法。這幾乎完全消除了因轉(zhuǎn)換和校正原始影像信號(hào)導(dǎo)致的延時(shí)——延時(shí)被減至一張圖像傳輸時(shí)間的1%以下。

　　4）軟件配置

　　MBG046的軟件棧如圖3所示。攝像系統(tǒng)必備的軟件處理包括硬件順序控制和與“3A模塊”（自動(dòng)白平衡調(diào)整、自動(dòng)曝光調(diào)整和自動(dòng)對(duì)焦）有關(guān)的運(yùn)算。硬件控制器對(duì)不同的獨(dú)立圖像處理硬件裝置進(jìn)行定時(shí)控制，使它們執(zhí)行圖像處理流程的一個(gè)序列。3A模塊通過(guò)從裝置驅(qū)動(dòng)器獲取的亮度、色彩平衡和空間頻率信息計(jì)算出合適的曝光、白平衡和焦點(diǎn)。通過(guò)將那些涉及到的處理復(fù)雜但運(yùn)算量小的部分交給軟件，而把那些涉及到大運(yùn)算量圖像數(shù)據(jù)處理的部分歸于專用硬件，我們可以讓軟件的運(yùn)算負(fù)荷維持在低水平，同時(shí)維持圖像處理性能。這使得CPU資源可被用于進(jìn)行其它的軟件圖像處理（運(yùn)動(dòng)補(bǔ)償、人臉檢測(cè)等），它有助于打造一套靈活而具有先進(jìn)處理能力的系統(tǒng)。

　　圖3 MBG046軟件棧

　　5. 結(jié)論

　　了解富士通針對(duì)手機(jī)的最新Milbeaut Mobile圖像信號(hào)處理器的演變、體系結(jié)構(gòu)和功能之后，我們可以預(yù)期隨著移動(dòng)終端性能的繼續(xù)穩(wěn)步提升，要想讓相機(jī)功能繼續(xù)向著更低功耗、更快靜態(tài)成像、更小相機(jī)模塊外形、以及更高視頻數(shù)據(jù)容量和幀速率——伴隨更快的網(wǎng)絡(luò)信道——的目標(biāo)邁進(jìn)，市場(chǎng)對(duì)圖像信號(hào)處理器的要求定會(huì)不斷提高。富士通會(huì)繼續(xù)開(kāi)發(fā)擁有最佳性能和功能的圖像信號(hào)處理器，為我們打造符合這些趨勢(shì)的可靠產(chǎn)品線創(chuàng)造條件。

——本文選自電子發(fā)燒友網(wǎng)12月《處理器與DSP特刊》“EE Design欄目”，轉(zhuǎn)載請(qǐng)注明出處，違者必究！