0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

當(dāng)鏡頭設(shè)計(jì)遇上數(shù)字孿生

新思科技 ? 來(lái)源:未知 ? 2022-12-05 17:40 ? 次閱讀

a0732674-747f-11ed-8abf-dac502259ad0.gif

從醫(yī)療診斷到汽車(chē)、智能手機(jī)、和視頻監(jiān)控…攝像頭在我們的日常生活中無(wú)處不在。所以說(shuō)如今的數(shù)據(jù)中有一半是圖像和視頻一點(diǎn)都不夸張,而且其中大部分是通過(guò)便攜式系統(tǒng)在終端生成的。 與云端相比,端設(shè)備的設(shè)計(jì)挑戰(zhàn)仍然很多。比如說(shuō),如何盡情用智能手機(jī)拍攝精美照片的同時(shí),又不必?fù)?dān)心電池電量問(wèn)題呢?自動(dòng)駕駛系統(tǒng)如何在無(wú)需大規(guī)模云數(shù)據(jù)處理的情況下同時(shí)分析來(lái)自近10個(gè)攝像頭的圖像呢? 攝像頭開(kāi)發(fā)團(tuán)隊(duì)常常遇到的痛點(diǎn)包括不斷變化的規(guī)格、設(shè)計(jì)和制造之間的差異,以及設(shè)計(jì)和組裝多個(gè)組件所帶來(lái)的復(fù)雜性,若想更好地設(shè)計(jì)出下一代邊緣和普適攝像頭,則需要更新的工具和技術(shù)。數(shù)字孿生恰巧就是這樣一項(xiàng)技術(shù)。 數(shù)字孿生是一項(xiàng)關(guān)鍵的使能技術(shù),不僅適用于飛機(jī)或復(fù)雜的發(fā)電廠,還適用于成像系統(tǒng)。數(shù)字孿生能夠通過(guò)仿真優(yōu)化產(chǎn)品生命周期,從而實(shí)現(xiàn)更高的規(guī)格(避免過(guò)度規(guī)格設(shè)定)和過(guò)程控制預(yù)測(cè),并支持更早地介入軟件開(kāi)發(fā)。數(shù)字孿生還能催生出定制成像系統(tǒng),例如無(wú)需“始終在線”的高效視頻監(jiān)控?cái)z像頭。 在本文中,我們將介紹數(shù)字孿生如何通過(guò)成像仿真助力成像系統(tǒng)實(shí)現(xiàn)更好、更精簡(jiǎn)的規(guī)格和虛擬測(cè)試。

攝像頭系統(tǒng):精密而又復(fù)雜

成像系統(tǒng)是一個(gè)多尺度、多重物理量模型,具有多個(gè)相互依賴的組件:
  • 鏡頭組從場(chǎng)景中捕捉光子;
  • 圖像信號(hào)處理器芯片將原始電子信號(hào)轉(zhuǎn)換成具有不同顏色、去噪且人眼可讀的數(shù)字圖像;
  • I/O芯片將成像系統(tǒng)與某個(gè)外部組件相連;
最后,成像系統(tǒng)必須能夠提供高質(zhì)量圖像。一般,高質(zhì)量圖像指用數(shù)碼單反相機(jī)拍攝的高品質(zhì)圖像。但是,如果將該標(biāo)準(zhǔn)運(yùn)用于土壤監(jiān)測(cè)、醫(yī)療診斷或自動(dòng)駕駛的圖像,可能會(huì)導(dǎo)致出現(xiàn)過(guò)高規(guī)格或錯(cuò)誤的預(yù)期結(jié)果。 下面我們來(lái)看看成像系統(tǒng)架構(gòu)師和團(tuán)隊(duì)如何利用新思科技光學(xué)解決方案的成像仿真功能來(lái)渲染和優(yōu)化成像系統(tǒng)的預(yù)期成像結(jié)果。

工作流程和結(jié)果

如以下簡(jiǎn)化示例所述,現(xiàn)在已經(jīng)可以使用CODE V、LightTools和RSoft光子器件工具來(lái)仿真圖像。在該示例中,成像系統(tǒng)包含一個(gè)由四個(gè)鏡片構(gòu)成的鏡頭組和一個(gè)具有微透鏡陣列的1.12微米R(shí)GB像素CMOS傳感器。

a0b62528-747f-11ed-8abf-dac502259ad0.png配備四個(gè)鏡片和CMOS傳感器的成像系統(tǒng)示例

1. 使用CODE V根據(jù)鏡頭組光學(xué)特性仿真成像結(jié)果 第一步是設(shè)計(jì)鏡頭組并生成相應(yīng)的PSF。我們使用CODE V中的圖像仿真(IMS)功能來(lái)仿真成像結(jié)果。開(kāi)發(fā)者可以將任意2D圖像導(dǎo)入到該工具中,然后定義FFT網(wǎng)格大小并計(jì)算通過(guò)鏡頭后的PSF網(wǎng)格,并可以添加顏色、相對(duì)照度參數(shù)和圖像傳感器屬性,如像素大小和像素?cái)?shù)量。IMS將根據(jù)通過(guò)CODE V定義和計(jì)算的光學(xué)參數(shù)來(lái)計(jì)算輸入圖像的卷積,并輸出由此得到的圖像。 a0e84972-747f-11ed-8abf-dac502259ad0.png右側(cè)的輸出圖像是輸入圖像與由CODE V計(jì)算鏡頭組光學(xué)參數(shù)得到的卷積結(jié)果 然后,開(kāi)發(fā)者可以在模擬圖像上評(píng)估圖像質(zhì)量。通過(guò)進(jìn)一步優(yōu)化鏡頭組,便可以為目標(biāo)應(yīng)用提供所需的圖像質(zhì)量。 2. 使用LightTools和RSoft光子器件工具仿真雜散光 大多數(shù)成像系統(tǒng)都必須經(jīng)過(guò)進(jìn)一步優(yōu)化,以避免出現(xiàn)雜散光而影響預(yù)期的成像品質(zhì)。鬼影和眩光是成像系統(tǒng)中的典型雜散光。開(kāi)發(fā)者們可以使用RSoft光子器件工具和LightTools來(lái)預(yù)測(cè)成像系統(tǒng)簡(jiǎn)化示例中的鬼影和眩光。由于傳感器的衍射和反射特性,開(kāi)發(fā)者需要預(yù)測(cè)系統(tǒng)中的雜散光。CMOS圖像傳感器通常是微米大小像素的集合,這些像素會(huì)產(chǎn)生強(qiáng)衍射譜,因此必須使用RSoft光子器件工具來(lái)獲得該表面的光學(xué)特性。 更具體地說(shuō),DiffractMOD RCWA是縝密計(jì)算橫向周期性器件衍射特性的有效工具。它可以輸出各個(gè)衍射級(jí)的反射/透射功率、全反射/透射、各個(gè)衍射級(jí)的振幅/相位/角度,以及仿真域中的場(chǎng)分布。所有結(jié)果都存儲(chǔ)在BSDF文件中,并可以導(dǎo)出到LightTools來(lái)做進(jìn)一步的仿真。 第三步是從CODE V導(dǎo)入鏡頭組幾何形狀,添加傳感器屬性,從RSoft導(dǎo)入BSDF文件,添加光源(下圖中為太陽(yáng)光源),并使用LightTools的光線路徑工具來(lái)運(yùn)行蒙特卡洛仿真,以分析雜散光所有可能的路徑。仿真結(jié)果將類(lèi)似于右側(cè)所示的圖像。

a115549e-747f-11ed-8abf-dac502259ad0.png

左側(cè)是LightTools攝像頭模型;右側(cè)是傳感器上看到的雜散光圖

3. 使用COM API將仿真成像結(jié)果與雜散光圖相結(jié)合 最后一步是使用COM API將來(lái)自CODE V的仿真成像結(jié)果與使用LightTools和RSoft計(jì)算得出的雜散光相結(jié)合。在這個(gè)卷積中可以調(diào)整亮度系數(shù)和能量比。

a14183e8-747f-11ed-8abf-dac502259ad0.png

結(jié)合來(lái)自CODE V的仿真圖像與來(lái)自LightTools的雜散光圖而得到的卷積圖像;右側(cè)是仿真成像結(jié)果

通過(guò)利用仿真圖像上的圖像質(zhì)量指標(biāo)來(lái)評(píng)估圖像,能夠進(jìn)一步優(yōu)化系統(tǒng),從而達(dá)到適合目標(biāo)應(yīng)用的規(guī)格。通過(guò)CODE V、LightTools和RSoft光子器件工具對(duì)仿真圖像進(jìn)行虛擬測(cè)試是一個(gè)強(qiáng)大的工作流程,不僅可以避免成像系統(tǒng)超規(guī)格,而且還可以通過(guò)仿真預(yù)測(cè)組裝和測(cè)試階段來(lái)節(jié)省時(shí)間。

??


原文標(biāo)題:當(dāng)鏡頭設(shè)計(jì)遇上數(shù)字孿生

文章出處:【微信公眾號(hào):新思科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。


聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 新思科技
    +關(guān)注

    關(guān)注

    5

    文章

    775

    瀏覽量

    50192

原文標(biāo)題:當(dāng)鏡頭設(shè)計(jì)遇上數(shù)字孿生

文章出處:【微信號(hào):Synopsys_CN,微信公眾號(hào):新思科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    如何實(shí)現(xiàn)數(shù)字孿生?看這篇就夠了

    數(shù)字孿生(Digital Twin)是一種集成了物理世界和數(shù)字世界的先進(jìn)概念,通過(guò)高精度的模擬來(lái)反映現(xiàn)實(shí)世界的實(shí)體或系統(tǒng)。它利用物聯(lián)網(wǎng)(IoT)、大數(shù)據(jù)、人工智能(AI)、云計(jì)算等先進(jìn)技術(shù),實(shí)現(xiàn)
    的頭像 發(fā)表于 09-09 16:01 ?147次閱讀

    數(shù)字孿生:概述、應(yīng)用場(chǎng)景與意義

    數(shù)字孿生是一種先進(jìn)的技術(shù)概念,它通過(guò)數(shù)字化建模和仿真技術(shù),在虛擬世界中實(shí)時(shí)反映和模擬物理實(shí)體、過(guò)程或系統(tǒng)的運(yùn)行狀態(tài)。數(shù)字孿生技術(shù)將現(xiàn)實(shí)世界與
    的頭像 發(fā)表于 08-08 11:04 ?244次閱讀

    基于數(shù)字孿生的智慧城市

    智慧城市 是指利用信息和通信技術(shù)(ICT)來(lái)改善城市運(yùn)行和管理的城市發(fā)展模式。數(shù)字孿生是一種數(shù)字化城市的概念,通過(guò)數(shù)字孿生技術(shù),城市可以在虛
    的頭像 發(fā)表于 07-16 11:34 ?283次閱讀

    數(shù)字孿生開(kāi)發(fā)平臺(tái)的重要性

    數(shù)字孿生 開(kāi)發(fā)平臺(tái)在當(dāng)今數(shù)字化轉(zhuǎn)型的背景下變得越來(lái)越重要。它是一種通過(guò)虛擬仿真技術(shù)模擬實(shí)際物理系統(tǒng)、產(chǎn)品或過(guò)程的數(shù)字化復(fù)制,有助于優(yōu)化設(shè)計(jì)、監(jiān)控運(yùn)營(yíng)以及預(yù)測(cè)性維護(hù)等方面。以下是
    的頭像 發(fā)表于 06-24 15:33 ?247次閱讀

    數(shù)字孿生技術(shù)應(yīng)用白皮書(shū)(2021)

    前言 隨著經(jīng)濟(jì)社會(huì)數(shù)字化轉(zhuǎn)型的持續(xù)推進(jìn),數(shù)字孿生逐漸成為產(chǎn)業(yè)各界關(guān)注的熱點(diǎn)技術(shù)。數(shù)字孿生起源航天軍工領(lǐng)域,近年來(lái)持續(xù)向智能制造、智慧城市等垂
    的頭像 發(fā)表于 06-05 15:46 ?375次閱讀
    <b class='flag-5'>數(shù)字</b><b class='flag-5'>孿生</b>技術(shù)應(yīng)用白皮書(shū)(2021)

    什么是數(shù)字孿生

    近年來(lái),數(shù)字孿生這個(gè)詞不斷出現(xiàn)在公眾視野中,尤其是隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展,數(shù)字孿生不斷出現(xiàn)在各行各業(yè)。乍一看,這個(gè)概念還是比較生僻的。什么是數(shù)字
    的頭像 發(fā)表于 06-05 15:45 ?714次閱讀

    數(shù)字孿生場(chǎng)景構(gòu)建的技術(shù)和優(yōu)勢(shì)

    隨著科技的進(jìn)步,數(shù)字孿生面向智慧交通、園區(qū)、城市、建筑、應(yīng)急等領(lǐng)域的客戶,提供行業(yè)解決方案。數(shù)字孿生是以數(shù)字的方式為現(xiàn)實(shí)物體創(chuàng)建高度仿真的虛
    的頭像 發(fā)表于 05-22 16:48 ?172次閱讀
    <b class='flag-5'>數(shù)字</b><b class='flag-5'>孿生</b>場(chǎng)景構(gòu)建的技術(shù)和優(yōu)勢(shì)

    數(shù)字孿生當(dāng)數(shù)字科技遇上現(xiàn)實(shí)世界

    數(shù)字孿生是指通過(guò)數(shù)字化技術(shù),將物理世界的實(shí)體與虛擬數(shù)字模型相聯(lián)系,從而實(shí)現(xiàn)實(shí)時(shí)復(fù)制和仿真的技術(shù)。它的出現(xiàn),為我們打開(kāi)了一扇通往未來(lái)的大門(mén)。數(shù)字
    的頭像 發(fā)表于 05-13 16:41 ?279次閱讀

    數(shù)字孿生關(guān)鍵技術(shù)及體系架構(gòu)

    摘要:? 數(shù)字孿生以各領(lǐng)域日益龐大的數(shù)據(jù)為基本要素,借助發(fā)展迅速的建模仿真、人工智能、虛擬現(xiàn)實(shí)等先進(jìn)技術(shù),構(gòu)建物理實(shí)體在虛擬空間中的數(shù)字孿生體,實(shí)現(xiàn)對(duì)物理實(shí)體的
    的頭像 發(fā)表于 04-02 14:21 ?611次閱讀

    灌區(qū)數(shù)字孿生方案(數(shù)字孿生應(yīng)用案例)

    隨著數(shù)字化、智能化技術(shù)在各領(lǐng)域的廣泛應(yīng)用,數(shù)字孿生已成為當(dāng)今優(yōu)化管理、提升效率的重要手段之一。而對(duì)于農(nóng)業(yè)灌區(qū)這一復(fù)雜系統(tǒng)來(lái)說(shuō),應(yīng)用數(shù)字孿生
    的頭像 發(fā)表于 01-22 11:23 ?409次閱讀
    灌區(qū)<b class='flag-5'>數(shù)字</b><b class='flag-5'>孿生</b>方案(<b class='flag-5'>數(shù)字</b><b class='flag-5'>孿生</b>應(yīng)用案例)

    淺談基于數(shù)字孿生的配電室關(guān)鍵技術(shù)研究

    出現(xiàn)問(wèn)題時(shí)才能發(fā)現(xiàn)故障。數(shù)字孿生為這些難題的解決提供了新途徑?!?b class='flag-5'>數(shù)字李生”是利用人工智能、傳感和模擬工具等數(shù)字化技術(shù),在真實(shí)世界和物理實(shí)體之間通過(guò)平行交互、精確映射和虛實(shí)迭代的一種新的
    發(fā)表于 01-09 15:49

    淺談裝配系統(tǒng)中的數(shù)字孿生

    建立數(shù)字孿生體的行為模型。在裝配系統(tǒng)中創(chuàng)建的數(shù)字孿生模型不僅僅是實(shí)際零部件的三維CAD模型,同時(shí)基于裝備的傳感器,也對(duì)各組件的行為模型進(jìn)行建模,包括組件的力學(xué)行為模型及形變行為模型。巨
    的頭像 發(fā)表于 12-22 11:51 ?481次閱讀

    淺談數(shù)字孿生數(shù)字化工廠系統(tǒng)

    珠海數(shù)字孿生賦能工業(yè)智能制造,助力制造業(yè)企業(yè)數(shù)字化轉(zhuǎn)型。數(shù)字孿生是利用物理模型、傳感器更新及運(yùn)行歷史數(shù)據(jù),集成多物理量、多尺度的仿真過(guò)程。巨
    的頭像 發(fā)表于 12-18 14:52 ?472次閱讀

    數(shù)字孿生是什么?實(shí)時(shí)云渲染與數(shù)字孿生應(yīng)用的愛(ài)恨情仇

    數(shù)字孿生是指針對(duì)建筑物或城市等物理實(shí)體所創(chuàng)建的3D模型,這些模型能夠?qū)崟r(shí)、連續(xù)地獲取數(shù)據(jù),并持續(xù)更新其功能和流程。 數(shù)字孿生的目的是為工程師提供數(shù)據(jù)支持,以便他們能夠進(jìn)行分析和優(yōu)化生產(chǎn)
    的頭像 發(fā)表于 12-01 17:23 ?511次閱讀

    數(shù)字孿生十問(wèn):分析與思考

    在國(guó)內(nèi)外專家同行指導(dǎo)和幫助下,近年筆者團(tuán)隊(duì)在數(shù)字孿生車(chē)間[4]、數(shù)字孿生五維模型及應(yīng)用[2]、數(shù)字孿生
    的頭像 發(fā)表于 11-27 16:30 ?1052次閱讀
    <b class='flag-5'>數(shù)字</b><b class='flag-5'>孿生</b>十問(wèn):分析與思考