淺述Pixe手機上多曝光序列的HDR+拍攝功能

文 / 軟件工程師 Manfred Ernst 和 Bartlomiej Wronski，Google Research

我們從未停止對 Pixel 進行優(yōu)化，并會通過定期更新，讓它變得更實用、更有趣以及更多的功能，如最近對相機應(yīng)用的 V8.2 更新。其中一項優(yōu)化（已于十月份在 Pixel 5 和 Pixel 4a 5G 中推出）便是這一“底層”功能：基于曝光序列的 HDR+ 拍攝。此功能會通過融合以不同曝光時間拍攝的圖像來提高圖像質(zhì)量（特別是光影部分），從而產(chǎn)生更自然的色彩、更豐富的細(xì)節(jié)和紋理，并降低噪聲。

HDR 場景為何難以拍攝？

原始的 HDR+ 連拍系統(tǒng)是高質(zhì)量手機拍照成像的關(guān)鍵：快速拍攝一組故意曝光不足的連續(xù)圖像，然后將融合、渲染，使圖像在色調(diào)范圍內(nèi)保留細(xì)節(jié)。但這個系統(tǒng)有一個不足之處，那就是在高動態(tài)范圍 （HDR） 場景中的陰影部分噪聲較大，這是因為所有拍攝的圖像都曝光不足。

圖像傳感器自身的物理限制，以及陰影部分的信號較弱，共同導(dǎo)致 HDR 場景拍攝困難。無論是針對陰影還是高光場景，我們都有辦法正確曝光，但無法在單次曝光中兼顧兩者。

攝影師有時會拍攝兩張不同程度的曝光，然后將其融合來克服這些限制。這種方法稱為曝光融合 （exposure bracketing），可以實現(xiàn)兩全其美的拍攝效果，但通過手動調(diào)整參數(shù)來完成這個過程非常耗時。此外，它在計算成像方面也非常具有挑戰(zhàn)性，因為它需要做到以下幾點：

在保持 Pixel 相機快速、可預(yù)測的拍攝體驗的同時，拍攝額外的長曝光幀。

利用長曝光幀，同時避免幀間物體運動產(chǎn)生的鬼影。

為了克服這些困難，原始的 HDR+ 系統(tǒng)采用了一種不同的方法來處理高動態(tài)范圍場景。

HDR+ 的不足

HDR+ 所用的拍攝策略是建立在曝光不足基礎(chǔ)上的，這可以避免高光部分的細(xì)節(jié)丟失。雖然這種策略以犧牲陰影部分的成像質(zhì)量為代價，但 HDR+ 通過使用連續(xù)拍攝抵消了增加的噪聲。

此方法適用于具有中度動態(tài)范圍的場景，對于 HDR 場景卻無任何幫助。如要究其原因，我們需要更深入地了解這兩種噪聲是如何在圖像中出現(xiàn)的。

連拍中的噪聲

一種重要的噪聲叫做散粒噪聲 （shot noise），它僅取決于拍攝時獲得的總進光量，也就是 N 個幀的進光量之和。每個曝光時間為 E 秒的幀，其散粒噪聲與一個曝光時間為 N × E 秒的單個幀相同。如果這是所拍攝圖像中唯一的噪聲類型，那么連續(xù)拍攝可以達到和長時間曝光一樣的效果。

遺憾的是，在拍攝每一幀時，傳感器都會帶入第二種噪聲：讀出噪聲 （read noise）。讀出噪聲與拍攝時的進光量無關(guān)，而是取決于所拍攝的幀數(shù)，也就是說，每拍攝一幀，就會額外增加固定量的讀出噪聲。

這就是為什么用連拍方法來減少總噪聲不如簡單地長時間曝光來得有效：多幀拍攝雖然可以減少散粒噪聲，但也會增加讀出噪聲。雖然讀出噪聲隨幀數(shù)的增加而升高，但我們?nèi)匀豢梢酝ㄟ^連拍降低整體噪聲，但這樣做會降低效率。如果將一個長曝光分解成 N 個短曝光，則最終圖像中的信噪比會因為讀出噪聲的增加而降低。

在這種情況下，要獲得單次長曝光的信噪比，我們則需要合并 N2 個短曝光幀。在下面的例子中，如果一個長曝光被分成 12 個短曝光，我們必須拍攝 144 （12 × 12） 個短幀來匹配陰影部分的信噪比！

拍攝和處理這些幀會花費更多時間，連拍和處理連拍可能需要一分鐘以上，從而導(dǎo)致糟糕的用戶體驗。相反，采用包圍式曝光則使我們能夠在兼具高光保護和降噪功能的情況下，同時拍攝短曝光幀和長曝光幀。

基于多曝光融合的解決方案

多曝光融合帶來的挑戰(zhàn)使得原始的 HDR+ 系統(tǒng)無法使用它，但我們在之后不斷改進，加上最近的不懈努力，終于讓它在相機應(yīng)用中得到實現(xiàn)。首先，為 HDR+添加多曝光融合需要重新設(shè)計拍攝策略。

使用零秒延時（ZSL） 技術(shù)使拍攝變得復(fù)雜， 這項技術(shù)可為 Pixel 上的快速拍攝體驗提供支持。在 ZSL 的助力下，按下快門前，取景器中顯示的幀均是用于 HDR+ 連拍融合的幀。在使用多曝光融合的情況下，我們會在按下快門后拍攝一個額外的長曝光幀，而此幀不會顯示在取景器中。

請注意，在按下快門后保持相機靜止半秒鐘來適應(yīng)長曝光，有助于改善圖像質(zhì)量，即使正常手抖也不會對此造成影響。

在夜視模式下，此拍攝策略則不受取景器的限制，因為所有幀都是在按下快門之后拍攝的，此時取景器已關(guān)閉，此模式能夠很好地適應(yīng)長曝光幀拍攝。本例中，我們拍攝了三個長曝光幀，以進一步去噪。

融合算法

在融合多曝光圖像序列時，將一個短幀選作參考幀，以避免可能發(fā)生的高光部分過曝和運動模糊。在合并所有其他幀之前，先將其與此幀對齊。這就帶來了一個挑戰(zhàn)：對于復(fù)雜的場景運動或遮擋區(qū)域，無法找到精確匹配的區(qū)域，此時使用樸素融合算法將會造成鬼影 （Ghosting Artifacts）。

為解決此問題，我們設(shè)計了一個新的空間融合算法，其與超分辨變焦（Super Res Zoom） 所用的算法類似，會逐個判斷像素的內(nèi)容，決定是否應(yīng)該合并圖像內(nèi)容。這一去鬼影過程在處理不同曝光程度的幀時將會更加復(fù)雜。

長曝光幀會產(chǎn)生不同的噪聲特征，高光部分會出現(xiàn)過曝或不同程度的運動模糊，這使得與短曝光參考幀的對比更加困難。此外，所拍攝曝光序列中的鬼影更明顯，因為遮掩這些錯誤的噪聲減少了。

盡管存在這些挑戰(zhàn)，我們的算法和原始的 HDR+ 及超分辨變焦一樣，能夠很好地解決上述問題，并不會產(chǎn)生鬼影。同時，它的圖像合并速度較之前提升 40%。

這是因為在成像過程初期就對裸格式圖像進行了融合，所以我們能夠在保持其余成像步驟和 HDR+ 的標(biāo)志性效果不變的同時，實現(xiàn)所有這些好處。此外，喜歡使用計算成像中的裸格式圖像的用戶也能從這些圖像質(zhì)量和性能改進中獲益。

Pixel 上的多曝光融合

多曝光融合的 HDR+ 功能目前已在 Pixel 4a （5G） 及 Pixel 5 上推出，用戶可以在使用默認(rèn)相機時，在夜視和人像模式下使用這一功能。Pixel 4 及 4a 用戶則可以通過 Google 相機應(yīng)用在夜視模式下使用多曝光融合功能。

用戶無需采取任何操作，即可激活基于多曝光融合的 HDR+ 功能?；诙嗥毓馊诤系?HDR+ 功能將根據(jù)場景的動態(tài)范圍和運動存在與否，選擇最佳曝光度，以拍攝出優(yōu)質(zhì)的圖像（示例）。

編輯：jq