計(jì)算攝影大行其道，圖像傳感器還有提升的必要嗎？

盡管消費(fèi)市場(chǎng)的圖像傳感器內(nèi)卷不止，隨著計(jì)算攝影的發(fā)展，不少人開(kāi)始猜測(cè)，計(jì)算攝影是否可以成為解決一切的問(wèn)題的方案？但各種不同的應(yīng)用證明，圖像傳感器作為一個(gè)面世已久又無(wú)處不在的元件，單靠計(jì)算攝影還是沒(méi)辦法實(shí)現(xiàn)全方位的提升。

動(dòng)態(tài)范圍

作為一個(gè)成像元件，圖像傳感器的動(dòng)態(tài)范圍決定了明暗部分所能展示出來(lái)的細(xì)節(jié)。對(duì)于車(chē)載圖像傳感器來(lái)說(shuō)，動(dòng)態(tài)范圍可謂至關(guān)重要，這也是為何目前這類(lèi)圖像傳感器都選了往高動(dòng)態(tài)范圍上發(fā)力。

比如在逆光或者隧道出入口這種明暗反差對(duì)比較大的場(chǎng)景中，如果圖像傳感器不能準(zhǔn)確獲取高動(dòng)態(tài)范圍的信息，就很容易出現(xiàn)亮部或暗部細(xì)節(jié)丟失的情況，這在ADAS場(chǎng)景中是需要極力避免的。人眼的動(dòng)態(tài)范圍在100db，卻也會(huì)在逆光場(chǎng)景中出現(xiàn)信息丟失的情況，所以車(chē)載圖像傳感器需要更高的動(dòng)態(tài)范圍。諸如思特威的SC850AT、豪威的OX03J10、安森美的AR0820等汽車(chē)傳感器，都可以做到140dB的動(dòng)態(tài)范圍。
與此同時(shí)，動(dòng)態(tài)范圍對(duì)于專(zhuān)業(yè)攝影設(shè)備來(lái)說(shuō)同樣重要，雖說(shuō)這種設(shè)備產(chǎn)出的影視作品也是交給人眼來(lái)感知的，但更大的動(dòng)態(tài)范圍意味著更多的明暗和色彩信息被記錄下來(lái)，在后期制作的調(diào)整空間也更大。比如索尼的VENICE 2專(zhuān)業(yè)8K攝影機(jī)用到了他們自研的圖像傳感器，該傳感器可以實(shí)現(xiàn)16檔的動(dòng)態(tài)范圍，約合100dB。而Arri的Alexa 35專(zhuān)業(yè)攝影機(jī)則用到了安森美的ALEV 4 4.6K圖像傳感器，可以實(shí)現(xiàn)高達(dá)17檔的動(dòng)態(tài)范圍。

量子效率和感光面積

在天文觀(guān)測(cè)和深空/行星攝影這樣的特殊應(yīng)用中，感光能力最為重要，往往我們認(rèn)為ISO才是影響感光能力的參數(shù)，但它只是影響信號(hào)器放大倍率而已，真正影響其感光性能應(yīng)當(dāng)是量子效率，也就是我們常說(shuō)的QE。
長(zhǎng)光辰芯就在近日推出了超大靶面的背照式可拼接sCMOS圖像傳感器GSENSE1081BSI，具備8100萬(wàn)的超高像素，可以實(shí)現(xiàn)最高大于95%的峰值量子效率。因?yàn)镼E決定了進(jìn)入感光區(qū)域的光子有多少概率產(chǎn)生電信號(hào)，所以高量子效率對(duì)于捕獲深空天體微弱信號(hào)至關(guān)重要。

除此之外，由于這類(lèi)傳感器的超大感光面積，在拍攝時(shí)景深極淺。我們可以與當(dāng)下手機(jī)的圖像傳感器對(duì)比，小米和Vivo新機(jī)都用上的IMX989傳感器尺寸為13.1mm x 9.8mm，而長(zhǎng)光辰芯的GSENSE1081BSI感光面積達(dá)到了89mm x 91.2mm，近乎前者的64倍。這就對(duì)圖像傳感器本身的制備提出了更高要求，一旦表面存在不平整的情況，就很容易出現(xiàn)失焦的情況，所以長(zhǎng)光辰芯用到了表面平整度較高的碳化硅基底。

快門(mén)

然而，對(duì)于一些高速工業(yè)場(chǎng)景來(lái)說(shuō)，動(dòng)態(tài)范圍、量子效率或感光度等參數(shù)其實(shí)都不是最重要的參數(shù)，反而是實(shí)現(xiàn)高速拍攝作為第一要求。但這并不是單純實(shí)現(xiàn)高拍攝速度，而忽略成像質(zhì)量。傳統(tǒng)的滾動(dòng)快門(mén)（卷簾快門(mén)）在噪聲、動(dòng)態(tài)范圍和感光度上都有著優(yōu)異的成績(jī)，但在捕捉高速移動(dòng)的對(duì)象時(shí)，難免還是會(huì)有些吃力。

滾動(dòng)快門(mén)在進(jìn)行高速拍攝時(shí)，快速移動(dòng)的物體往往會(huì)產(chǎn)生失真形變，這是因?yàn)椴煌恢孟袼氐闹鹦胁蓸訒r(shí)間不同造成的，也就是我們常說(shuō)的果凍效應(yīng)。雖說(shuō)如今的堆棧式背照傳感器已經(jīng)實(shí)現(xiàn)了很高的讀取速度，但也只是解決了我們?nèi)粘Ｉ钪谐Ｒ?jiàn)的高速移動(dòng)場(chǎng)景，工業(yè)系統(tǒng)中存在著更多高速移動(dòng)的場(chǎng)景，所以這才有了全局快門(mén)傳感器的出現(xiàn)。

全局快門(mén)在同一時(shí)間采集所有的像素，再將光信號(hào)轉(zhuǎn)換成電信號(hào)，就解決了高速拍攝時(shí)的失真問(wèn)題。但全局快門(mén)也有一個(gè)取舍的問(wèn)題，那就是對(duì)全像素的采取對(duì)處理器都提出了更高的要求，所以往往要做到超高速就要犧牲別的參數(shù)，比如高像素、低功耗等等。

像索尼的IMX661-AAMR就可以做到1.27億的超高像素，但最大幀率就只能降低至21fps，而長(zhǎng)光辰芯的GMAX32152可以做到1.52億像素，最高幀率也被限制在了16fps。Phantom 的超高速攝影機(jī)TMX 7510雖然可以支持到最高30萬(wàn)的FPS，但其全局快門(mén)CMOS還是撐不起這樣的高速度記錄，因此限制在了1280x192和640x384這樣的低分辨率下，要想輸出1280x800這樣的分辨率就只能降至76000fps，像素也只有百萬(wàn)而已。

但這樣的像素對(duì)于一些運(yùn)動(dòng)跟蹤應(yīng)用來(lái)說(shuō)已經(jīng)綽綽有余了，比如AR/VR設(shè)備。如今的AR/VR加上元宇宙概念的出現(xiàn)，也對(duì)需要運(yùn)動(dòng)檢測(cè)的頭戴設(shè)備提出了更高的要求，所以豪威也推出了0G0VE這一全局快門(mén)圖像傳感器方案，可以在VGA的分辨率下實(shí)現(xiàn)240fps的幀率，功耗卻低至68mW。

小結(jié)

從以上幾個(gè)指標(biāo)的應(yīng)用場(chǎng)景可以看出，圖像傳感器還有很大的性能提升空間，而這些并非計(jì)算攝影在短時(shí)間內(nèi)能夠解決的問(wèn)題，甚至因?yàn)樽非蟪上駭?shù)據(jù)真實(shí)性而不可能去解決的問(wèn)題。但計(jì)算攝影也并非都是用于美顏或景深計(jì)算的，在一些機(jī)器視覺(jué)應(yīng)用中，計(jì)算攝影反而能大幅提高我們的工作效率。所以，未來(lái)計(jì)算攝影與圖像傳感器雙管齊下才是最完美的方案。