商湯以AI軟件重新“定義”圖像傳感器趨勢

攝影圈里常說，“底大一級壓死人”。

這一般是指數(shù)碼相機的CMOS圖像傳感器的尺寸越大，成像效果越好。它是相機的關(guān)鍵成像部件，也是塑造影像競爭力的核心。

也因此，我們看到隨著智能手機競爭越來越激烈，以及影像技術(shù)在手機中的地位越來越高，傳感器技術(shù)成為很多手機廠商的必爭之地，是差異化競爭所在。

然而手機往往追求輕薄和低功耗，使得手機圖像傳感器的尺寸天然存在物理限制。如何解決這一矛盾，成為業(yè)界的重要方向。

近日，商湯智能產(chǎn)業(yè)研究院發(fā)布《AI傳感器：智能手機影像新核心》白皮書，提出在智能手機市場緩慢步入瓶頸期的趨勢下，影像功能成為產(chǎn)業(yè)破局焦點，而AI軟件與CMOS圖像傳感器硬件的融合，將是智能手機影像能力持續(xù)提升的破題之道。

圖像傳感器步入AI時代

過去幾年，AI算法讓手機的影像能力得到了不小的提升，但在這種方案中，圖像傳感和AI算法的運行，在不同的硬件上完成，圖像傳感器提供圖像信號，處理器或者AI加速芯片執(zhí)行AI算法。這會造成能耗資源的浪費，并且難以處理一些需要的及時響應(yīng)的場景。

白皮書指出，融入了AI技術(shù)的CMOS圖像傳感器，可以最大化地發(fā)揮原始光信號的價值。

在設(shè)備獲取視覺信號的伊始，AI傳感器就可以進行優(yōu)化和處理，增強真實世界感知、提高圖像和視頻的質(zhì)量、豐富內(nèi)容細節(jié)，同時最大限度地降低了設(shè)備功耗，并增強了數(shù)據(jù)安全性。

白皮書指出，自20世界50年代光學(xué)倍增管（Photo Multiplier Tube， PMT）出現(xiàn)以來，圖像傳感器便隨著技術(shù)的發(fā)展而持續(xù)演進。

如今，隨著AI技術(shù)的加持，CMOS圖像傳感器的發(fā)展開始進入AI軟件定義的時代，將成像系統(tǒng)的整體能力推向新的高度。

讓手機成為“個人智能影像工作室”

憑借領(lǐng)先的AI技術(shù)和軟硬件整合能力，商湯已經(jīng)在超分辨率、AI超畫質(zhì)、夜景影像、高動態(tài)范圍、超清人像、影像虛化、RGB ToF 3D等關(guān)鍵影像場景，積累了大量算法能力。

同時早在2019年，商湯就與全球領(lǐng)先的圖像傳感器廠商開展緊密合作，將AI算法和傳感器硬件直接融合。目前，商湯AI傳感器已完成多款產(chǎn)品，并成功落地多款高端旗艦手機。

憑借AI算法、AI傳感器和AI ISP的三位一體，商湯實現(xiàn)了AI技術(shù)對整個智能手機智能影像系統(tǒng)的一體化賦能。

一方面，通過AI技術(shù)充分挖掘鏡頭模組、各種新型傳感器等硬件的潛力，最大化利用成像設(shè)備的底層特性，實現(xiàn)最優(yōu)的成像質(zhì)量。

另一方面，利用AI技術(shù)將成像系統(tǒng)中的各個獨立部件有機結(jié)合在一起，充分聯(lián)動，使原本獨立運作的成像模塊成為協(xié)同合作的成像平臺。

從上至下分別為超分辨率、AI超畫質(zhì)、夜景影像效果對比，左邊為傳統(tǒng)方案拍攝效果，右邊為商湯賦能后拍攝效果，圖片均為原圖的局部放大

商湯的解決方案，讓手機攝影的質(zhì)量得到了全面提升。

例如，通過AI對多種光源不同特性的學(xué)習(xí)，了解自然光譜特性，進而根據(jù)實際應(yīng)用場景，帶來AI降噪、AI超分辨率，提升成像質(zhì)量；在特殊拍攝模式下，AI夜景增強、AI人像增強，更為智能手機賦予了多樣的“魔幻場景”。

這些體驗，讓搭載了AI傳感器的智能手機，成為每個人專屬的“個人智能影像工作室”，消費者日常使用時，也能輕松拍出媲美專業(yè)影像器材的高質(zhì)量作品。

機器“認知”世界的基礎(chǔ)設(shè)施

面向未來，AI傳感器的價值不僅在于提升智能手機的影像能力，它更將成為機器“認知”世界的基礎(chǔ)設(shè)施，為更多物聯(lián)網(wǎng)終端賦予智能感知與內(nèi)容增強的能力。

在全球40億手機用戶的龐大基數(shù)下，AI傳感器的廣泛應(yīng)用，將大幅降低世界建模成本，成為連接物理世界與虛擬世界的橋梁，加速“元宇宙”的構(gòu)建。

在新興應(yīng)用場景中，AI傳感器也將扮演重要角色。例如，在智能汽車領(lǐng)域，AI傳感器將成為車輛感知世界的核心部件；在智慧城市領(lǐng)域，AI傳感器更將為挖掘視頻信息的價值發(fā)揮重要作用。

Gartner 數(shù)據(jù)顯示，2022年CMOS圖像傳感器的出貨量將會超84億顆，到2026年則會超過107億顆，成長為百億出貨量規(guī)模的半導(dǎo)體細分市場。

秉承在AI傳感器技術(shù)領(lǐng)域的長期布局，商湯將緊密攜手合作伙伴，加速AI傳感器的市場滲透，共同以AI軟件重新“定義”圖像傳感器趨勢，賦予硬件更多創(chuàng)新可能性。

原文標(biāo)題：商湯發(fā)布白皮書：AI傳感器不僅是影像利器，更是機器認知世界的基礎(chǔ)設(shè)施

文章出處：【微信公眾號：商湯科技SenseTime】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。