科學(xué)家可以在智能手機(jī)上快速生成逼真的彩色3D全息圖了

如今，利用人工智能技術(shù)，科學(xué)家可以在智能手機(jī)上快速生成逼真的彩色3D全息圖了。

從本質(zhì)上說，全息圖類似于從2D窗口尋找到一個(gè)3D場景的圖像，每個(gè)全息圖的像素都會(huì)散射掉落在其上的光波，從而使這些波以產(chǎn)生深度錯(cuò)覺的方式彼此相互作用。

全息視頻顯示器創(chuàng)建的3D圖像能夠保證人們在觀看的同時(shí)不會(huì)感到眼睛疲勞，這與傳統(tǒng)的3D顯示器使用2D圖像產(chǎn)生深度錯(cuò)覺不同。

但是，盡管三星等公司最近在開發(fā)可顯示全息視頻的硬件方面取得了進(jìn)步，但實(shí)際上要顯示全息數(shù)據(jù)仍然是一個(gè)重大挑戰(zhàn)。

因?yàn)槊總€(gè)全息圖都會(huì)編碼大量數(shù)據(jù)，以便在整個(gè)圖像中營造出深度錯(cuò)覺。這樣來說，生成全息視頻通常需要超級計(jì)算機(jī)的計(jì)算能力。

為了將全息視頻普遍化，科學(xué)家們嘗試了多種不同的策略來減少所需的計(jì)算量，例如，用簡單的查找表代替復(fù)雜的物理模擬。然而，這些通常以圖像質(zhì)量為代價(jià)。

現(xiàn)在，麻省理工學(xué)院的研究人員已經(jīng)開發(fā)出一種幾乎可以立即生成全息圖的新方法——一種高效的基于深度學(xué)習(xí)的方法，它可以在眨眼之間在筆記本電腦上生成全息圖。

這項(xiàng)研究在本周的《自然》雜志上發(fā)表。

論文鏈接：

https://www.nature.com/articles/s41586-020-03152-0

麻省理工學(xué)院計(jì)算機(jī)科學(xué)家Liang Shi說：“這超出了我們的預(yù)期?！?/p>

Shi指出，將物理模擬用于計(jì)算機(jī)生成的全息圖涉及計(jì)算全息圖的許多塊的外觀，然后將它們組合以獲得最終的全息圖。他說，使用查找表就像記住一組經(jīng)常使用的全息圖，但這會(huì)犧牲準(zhǔn)確性，仍然需要組合步驟。

Shi還補(bǔ)充到，從某種意義上說，計(jì)算機(jī)生成的全息術(shù)有點(diǎn)像切蛋糕的過程。使用物理模擬來計(jì)算空間中每個(gè)點(diǎn)的外觀是一個(gè)耗時(shí)的過程，類似于使用八次精確切割來生產(chǎn)八塊蛋糕的過程。

使用查找表進(jìn)行計(jì)算機(jī)生成的全息照相，就像在切割之前標(biāo)記每個(gè)切片的邊界一樣。盡管通過消除計(jì)算切割位置的步驟節(jié)省了一些時(shí)間，但是執(zhí)行所有八次切割仍會(huì)占用大量時(shí)間。

相比之下，新技術(shù)利用深度學(xué)習(xí)從本質(zhì)上弄清楚了如何僅用三個(gè)切口就能將蛋糕切成八個(gè)切片。該卷積神經(jīng)網(wǎng)絡(luò)是一種大致模仿人類大腦處理視覺數(shù)據(jù)方式的系統(tǒng)，它可以學(xué)習(xí)生成完整全息圖的捷徑，而不需要單獨(dú)計(jì)算每塊圖是如何成型的，“這將從數(shù)量級上直接降低操作步驟”。

研究人員首先建立了一個(gè)自定義數(shù)據(jù)庫，其中包含4,000張計(jì)算機(jī)生成的圖像，每個(gè)圖像都包含每個(gè)像素的顏色和深度信息。該數(shù)據(jù)庫還包括與每個(gè)圖像相對應(yīng)的3D全息圖。

卷積神經(jīng)網(wǎng)絡(luò)使用這些數(shù)據(jù)學(xué)習(xí)了如何計(jì)算如何從圖像中生成全息圖的最佳方法。然后，它可以從具有深度信息的圖像中生成新的全息圖，這些圖像隨計(jì)算機(jī)提供的典型圖像一起提供，并且可以通過多相機(jī)設(shè)置或激光雷達(dá)傳感器進(jìn)行計(jì)算，這些設(shè)置在一些新iPhone上也有搭載。

這個(gè)新系統(tǒng)需要不到620 KB的內(nèi)存，并且可以在單個(gè)消費(fèi)級GPU上每秒生成60幅彩色3D全息圖，分辨率為1,920x1,080像素。研究人員可以在iPhone 11 Pro上以每秒1.1全息圖的速度運(yùn)行它，并在Google Edge TPU上以每秒2全息圖的速度運(yùn)行，這表明它有一天可以在虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)上運(yùn)行。

實(shí)時(shí)3D全息術(shù)也可能有助于增強(qiáng)所謂的體積3D打印技術(shù)，該技術(shù)通過將圖像投影到液體桶上來創(chuàng)建3D對象，并可以生成復(fù)雜的空心結(jié)構(gòu)。科學(xué)家們指出，他們的技術(shù)還可以在光學(xué)和聲學(xué)鑷子中找到有用的工具，這些鑷子可用于微觀層面的物質(zhì)處理，以及可以分析細(xì)胞和常規(guī)靜態(tài)全息圖的全息顯微鏡，可用于藝術(shù)、安全、數(shù)據(jù)存儲(chǔ)和其他應(yīng)用中。

Shi表示，未來的研究可能會(huì)添加眼動(dòng)追蹤技術(shù)，以通過創(chuàng)建僅在眼睛注視的地方具有高分辨率的全息圖來加快系統(tǒng)運(yùn)行速度。他補(bǔ)充說，另一個(gè)方向是生成考慮到人的視敏度的全息圖，因此，戴眼鏡的用戶不需要與他們的眼部處方相匹配的特殊VR頭戴式耳機(jī)。

責(zé)任編輯：lq