Foveon 傳感器背后的想法

日前，Sigma 首席執(zhí)行官 Kazuto Yamaki 透露，該公司制造全畫幅 Foveon 傳感器的工作有望在今年年底前完成。

在Mirrorless Rumors發(fā)現(xiàn)的 Sigma 的 YouTube 頻道上發(fā)表的一次采訪中，Yamaki 被問及自今年早些時(shí)候提供更新以來是否有任何關(guān)于傳感器開發(fā)進(jìn)展的消息?！拔覀?nèi)栽谂ΓF(xiàn)在我們正在研究三層 X3 傳感器的原型，”他回應(yīng)道?！斑@個(gè)傳感器應(yīng)該在今年某個(gè)時(shí)候上市。”

Yamaki 和 Sigma 之前曾表示，制作全畫幅 Foveon 傳感器的過程很困難，他在這里重申了這一點(diǎn)。

“Foveon X3 傳感器不是一個(gè)非常通用的傳感器，”Yamaki 說。“在低光照條件下會(huì)有一些‘缺點(diǎn)’，但如果光線充足，那臺(tái)相機(jī)可以拍出非常漂亮和令人印象深刻的照片。”

Foveon陷入困境的發(fā)展史

Sigma 的 Foveon 傳感器使用專有的三層結(jié)構(gòu)，其中紅色、綠色和藍(lán)色像素各有自己的完整層。在傳統(tǒng)傳感器中，三個(gè)像素以馬賽克排列共享一個(gè)圖層，相機(jī)通過檢查相鄰像素來“填充”缺失的顏色。

由于照片的每個(gè)像素都以三種顏色記錄，因此生成的照片應(yīng)該更清晰，色彩準(zhǔn)確度更高，偽影更少。

但Sigma多年來一直在努力將全畫幅 Foveon 傳感器推向市場(chǎng)。最初于 2018 年 9 月發(fā)布的全畫幅 Foveon 傳感器出現(xiàn)了多次延遲。2020 年 2 月，該公司宣布該開發(fā)項(xiàng)目已被“重新設(shè)計(jì)”并推遲了一段時(shí)間，具體時(shí)間不詳。

一年后，Yamaki 透露該傳感器再次被推遲，由于嚴(yán)重缺陷而無法投入量產(chǎn)。

2022 年 2 月，適馬宣布已進(jìn)入傳感器原型制作三個(gè)階段中的第二個(gè)階段，并表示如果第三階段進(jìn)展順利，它可以開始驗(yàn)證其量產(chǎn)性。

“當(dāng)我們進(jìn)入第 3 階段時(shí)，我們將根據(jù)評(píng)估結(jié)果與研究機(jī)構(gòu)和制造供應(yīng)商驗(yàn)證傳感器的量產(chǎn)性，然后最終決定是否量產(chǎn)圖像傳感器，”山木當(dāng)時(shí)說。

“雖然我們還沒有達(dá)到可以公布圖像傳感器量產(chǎn)的具體時(shí)間表的階段，但我們決心盡最大努力盡快實(shí)現(xiàn)一款真正讓等待它的客戶盡可能滿意的相機(jī)?！?/p>

Yamaki 的新聲明和 2022 年時(shí)間表似乎表明該公司已成功完成第三階段，再次希望全畫幅 Foveon 傳感器能夠重見天日。

Foveon：未能趕上的智能圖像傳感器

早在 2000 年代初期，Sigma（通常在攝影界被稱為鏡頭制造商的公司）發(fā)布了一種名為 Foveon X3 的新型相機(jī)傳感器。該傳感器技術(shù)于 1999 年由一家名為 Foveon， Inc. 的公司（后來于 2008 年被 Sigma 收購）首次獲得專利，并采用了創(chuàng)新的色彩感知技術(shù)：3 層光敏二極管堆棧。

從紙面上看，這項(xiàng)技術(shù)承諾在色彩準(zhǔn)確度、低光噪聲和圖像清晰度方面優(yōu)于 CMOS 傳感器。本文將解釋為什么 Foveon 技術(shù)盡管是一個(gè)聰明的想法，但從未真正在攝影行業(yè)取得成功。

硅作為一種半導(dǎo)體材料而廣為人知，并且在許多電子電路中都使用這種材料。然而，對(duì)于攝影師來說，硅的主要興趣在于它是一種感光材料。

更具體而言，硅吸收介于 400nm 和 1100nm 之間的任何波長的光。好消息是，這個(gè)范圍涵蓋了可見光譜（大約 400nm 到 750nm），甚至還有一點(diǎn)近紅外光譜。壞消息是，硅本身并不能區(qū)分光的顏色，只會(huì)積累 400-1100nm 范圍內(nèi)的任何光子。

提高圖像質(zhì)量的第一步是添加一個(gè)濾光片，以在紅外光（750nm 和 1100nm 之間）到達(dá)傳感器之前將其去除。生成的系統(tǒng)構(gòu)成單色相機(jī)傳感器（提供黑白圖像）。

從那時(shí)起，收集一些顏色信息的最常見方法是使用濾色器陣列 （CFA）。通常，這個(gè)濾鏡是按照拜耳模式（來自柯達(dá)工程師的名字）組織的，帶有紅色、綠色、綠色和藍(lán)色濾鏡。

多虧了這三個(gè)濾鏡，人們可以恢復(fù)圖像中的顏色信息。然而，這個(gè)過程是以犧牲一些圖像分辨率為代價(jià)的。對(duì)于給定的“紅色”像素，必須進(jìn)行插值以找到丟失的綠色和藍(lán)色信息。存在許多插值算法，但該過程總是會(huì)導(dǎo)致某種形式的顏色偽影和圖像柔化。

彩色濾光片陣列除了不準(zhǔn)確之外，在收集一些顏色信息的過程中也會(huì)吸收很多光子。吸收取決于濾光片的選擇和圖像內(nèi)容，但通常承認(rèn)光通量在到達(dá)傳感器之前要除以 3 倍。那是1.5檔光。

碰巧的是，根據(jù)它的顏色，給定的光子在被吸收之前在硅中傳播了特定的距離。這個(gè)“行進(jìn)距離”與光子的能量有關(guān)，而光子的能量取決于它的波長。短波長光子（藍(lán)光、紫外光等）比長波長光子（紅光、紅外光等）能量更高，因此在硅中的較短行程后被吸收。

由于硅中的吸收深度提供了對(duì)光子波長的估計(jì)，因此吸收深度的測(cè)量在理論上提供了顏色信息。Foveon 傳感器的巧妙之處在于使用“深度濾鏡”而不是并排的彩色濾鏡。

至少在紙面上，移除任何濾色片應(yīng)該會(huì)增加落在傳感器上的光通量，并消除與濾色片相關(guān)的缺點(diǎn)。

早在 2002 年 Foveon 傳感器在 Sigma SD9 DSLR 中首次進(jìn)入市場(chǎng)時(shí)，大多數(shù)數(shù)碼相機(jī)的分辨率都遠(yuǎn)低于 10MPx。佳能 EOS-1D 有 4.2MPx，尼康 D100 有 6MPx。由于濾色器陣列需要數(shù)字插值，因此對(duì)于給定數(shù)量的像素，濾色器陣列提供了巨大的清晰度升級(jí)。

Sigma實(shí)際上試圖通過聲稱 SD9 相機(jī)具有 3.43MP 輸出圖像但“1030 萬有效像素”來推銷這種圖像質(zhì)量差異，這意味著它們的像素表現(xiàn)要好 3 倍。幾篇學(xué)術(shù)論文確實(shí)發(fā)現(xiàn)，由于缺乏插值和銳利邊緣周圍的顏色偽影，F(xiàn)oveon 傳感器提供了更高的感知分辨率。從這個(gè)角度來看，F(xiàn)oveon 傳感器為用戶提供了明確且可衡量的好處。

Sigma 聲稱的最后一點(diǎn)是，在色彩準(zhǔn)確性方面，F(xiàn)oveon 傳感器優(yōu)于濾色片傳感器。該聲明是由缺少顏色信息插值來解釋的。實(shí)際上，對(duì)于給定的 Foveon 像素，紅色、綠色和藍(lán)色數(shù)據(jù)記錄在同一個(gè)位置，這與彩色濾光片陣列相反。

至少在紙面上，F(xiàn)oveon 傳感器具備一切：更好的光通量意味著更好的低光性能、更好的色彩準(zhǔn)確度和更好的圖像清晰度。但是紙質(zhì)規(guī)格從來沒有完全講述完整的故事……

從那以后真正的問題真的歸結(jié)為：既然 Foveon 傳感器背后的想法非常聰明，為什么我們不都使用 Foveon 傳感器呢？

一、解析度

隨著 CMOS 傳感器的發(fā)展，對(duì) Foveon 技術(shù)的一些興趣消失了，因?yàn)橄袼孛芏鹊募眲≡黾咏档土?Foveon 傳感器的主要賣點(diǎn)之一。當(dāng)然，這并不是一個(gè)真正的apple to apple的比較，因?yàn)橄袼財(cái)?shù)只影響最終圖像質(zhì)量的一小部分（連同鏡頭、可用光量等）。由于即使是智能手機(jī)也可以提供至少 20MPx 的圖像，所以 Foveon 的吸引力不如 2000 年代初期。

二、顏色

Foveon 傳感器的色彩優(yōu)勢(shì)在理論上是不可否認(rèn)的，但實(shí)際上幾乎沒有什么好處。在色彩校準(zhǔn)顯示器和實(shí)驗(yàn)室環(huán)境之外，色彩精度的差異很小，以至于大多數(shù)休閑攝影師都不會(huì)注意到。它肯定比白平衡錯(cuò)誤或創(chuàng)意 Instagram 過濾器的影響更微妙。

三、噪音

這可能是最有爭議的一點(diǎn)。在紙面上，F(xiàn)oveon 傳感器應(yīng)該收集大約 3 倍的光，這應(yīng)該轉(zhuǎn)化為信噪比提高 1.7 倍。也就是說，假設(shè)散粒噪聲占主導(dǎo)地位。然而，事實(shí)證明，在實(shí)際比較中，F(xiàn)oveon 傳感器的弱光性能不足。甚至 Foveon 總經(jīng)理Shri Ramaswami 在 2014 年的一次采訪中也承認(rèn)了這一點(diǎn)：

“Foveon 方法的一個(gè)限制是圖像噪聲高于傳統(tǒng)傳感器，”他說?！斑@可能部分是由于傳感器架構(gòu)本身的效率低下——也許一些光會(huì)丟失到分隔各層的內(nèi)部結(jié)構(gòu)中——也部分是由于必須進(jìn)行處理才能從相當(dāng)混合的信號(hào)中產(chǎn)生純色芯片實(shí)際上捕捉到了?！?/p>

CMOS 傳感器和 Foveon 傳感器有一個(gè)相似的設(shè)計(jì)問題：一些光從一個(gè)像素泄漏到下一個(gè)像素。在 CMOS 傳感器中，這種串?dāng)_問題通過使用光電二極管之間的垂直隔離結(jié)構(gòu)來解決。

然而，在 Foveon 傳感器中，不可能應(yīng)用相同的技巧（否則，您將只能獲得藍(lán)色信息）。因此，F(xiàn)oveon 傳感器往往會(huì)遭受從一個(gè)光電二極管層到下一個(gè)光電二極管層的光子泄漏。

?

所有“不尋?！鄙氏到y(tǒng)（無論是富士 X-Trans、RGBW 濾鏡還是 Foveon）的一個(gè)共同缺點(diǎn)是圖像處理也會(huì)受到選擇的影響。盡管拜耳濾光片可能不是捕捉顏色的最佳方式，但它們已經(jīng)存在了幾十年，并且在傳感器市場(chǎng)上絕對(duì)占據(jù)主導(dǎo)地位。因此，圖像處理研究人員和公司有強(qiáng)烈的動(dòng)機(jī)為這種類型的傳感器微調(diào)所有算法。

例如，去噪通常是通過一些關(guān)于收集到的光子的統(tǒng)計(jì)數(shù)據(jù)的假設(shè)來完成的，這些光子不能直接應(yīng)用于 Foveon 傳感器。遺憾的是，鑒于使用的 Foveon 傳感器的份額，大多數(shù)圖像處理公司沒有任何動(dòng)力支持 Foveon 文件，更不用說開發(fā)專用于此類傳感器的圖像處理管道了。

基于機(jī)器學(xué)習(xí)的算法，這種趨勢(shì)只會(huì)變得更糟。坦率地說，機(jī)器學(xué)習(xí)算法只與用于訓(xùn)練它們的數(shù)據(jù)一樣好（在數(shù)量和質(zhì)量方面）。由于拜耳濾波器陣列提供的圖像數(shù)量是 Foveon 的數(shù)千倍，因此前者傳感器將受益于比后者更好的算法。

最后，我們需要解決房間里的大象。由于技術(shù)原因，攝影設(shè)備并不總是出售。定價(jià)、營銷、鏡頭生態(tài)系統(tǒng)、品牌——一項(xiàng)技術(shù)的成功有很多因素。

Sigma試圖提供一種與眾不同的傳感器，但該公司不得不同時(shí)打兩場(chǎng)戰(zhàn)斗。第一個(gè)是證明 Foveon 傳感器的圖像質(zhì)量。第二個(gè)是證明，作為相機(jī)制造商，他們的相機(jī)優(yōu)于佳能或尼康相機(jī)。

Foveon 可能是Sigma在競爭激烈的相機(jī)行業(yè)的秘密武器。但是，傳統(tǒng)傳感器和 Foveon 傳感器之間的性能差異并不明顯。至少，還不夠清晰，不足以吸引新攝影師加入 Sigma 品牌。

作為一家公司，Sigma在鏡頭制造方面享有良好和當(dāng)之無愧的聲譽(yù)，并希望將其業(yè)務(wù)進(jìn)一步擴(kuò)展到相機(jī)和傳感器。然而，相機(jī)不僅僅是一個(gè)傳感器。Sigma 面臨的真正挑戰(zhàn)很可能是缺乏高質(zhì)量的圖像處理。Sigma 甚至必須為 AdobePhotoshop 創(chuàng)建一個(gè)插件才能打開 Foveon 文件。

雖然適馬發(fā)布帶有全畫幅 Foveon 傳感器的新相機(jī)并非不可能，但要在現(xiàn)有的 Foveon 社區(qū)之外銷售該技術(shù)還有很長的路要走，更不用說使其成為行業(yè)標(biāo)準(zhǔn)了?！　?/p>