利用人工智能,科學(xué)家現(xiàn)在甚至可以在智能手機(jī)上快速生成照片級真實(shí)感彩色3D全息圖。根據(jù)一項(xiàng)新的研究顯示,這項(xiàng)新技術(shù)可以在虛擬現(xiàn)實(shí)(VR)和增強(qiáng)現(xiàn)實(shí)(AR)耳機(jī)以及其他應(yīng)用中得到應(yīng)用。
全息圖能夠出色地展現(xiàn)3D世界,而且它的呈現(xiàn)效果非常漂亮。全息圖可以根據(jù)觀看者的位置提供變化的視角,并允許眼睛調(diào)整焦深以交替聚焦在前景和背景上。
提起三維場景可視化,虛擬現(xiàn)實(shí)(VR)是最常見的一種技術(shù)。雖然用戶實(shí)際上是注視著 2D 顯示器,但 VR 會(huì)產(chǎn)生 3D 觀看的錯(cuò)覺,從而使人視覺疲勞和感到頭暈惡心。更好的 3D 可視化解決方案可能在于一種誕生了六十年的技術(shù):全息圖。
然而,盡管像三星這樣的公司最近在開發(fā)能夠顯示全息視頻的硬件方面取得了長足的進(jìn)步,但實(shí)際生成全息數(shù)據(jù)以供此類設(shè)備顯示仍然是一個(gè)重大挑戰(zhàn)。
長期以來,研究者們一直在試圖制造出計(jì)算機(jī)生成的全息圖,但傳統(tǒng)上,該過程需要一臺超級計(jì)算機(jī)來進(jìn)行物理模擬,這非常耗時(shí),并且產(chǎn)生的效果真實(shí)感不高。
為了把全息影像帶給大眾,科學(xué)家們嘗試了許多不同的策略來減少所需的計(jì)算量——例如,用簡單的查找表代替復(fù)雜的物理模擬。然而,這些往往以犧牲圖像質(zhì)量為代價(jià)。
現(xiàn)在麻省理工學(xué)院(MIT)的研究人員已經(jīng)開發(fā)出一種新的方法,幾乎可以瞬間產(chǎn)生全息圖——這種基于深度學(xué)習(xí)的方法非常有效,它可以在筆記本電腦上一眨眼就產(chǎn)生全息圖。他們在近日的《自然》雜志上詳細(xì)介紹了他們的研究結(jié)果,該研究部分由索尼公司資助。
麻省理工學(xué)院計(jì)算機(jī)科學(xué)家Liang Shi說:“一切都神奇地完成了,這真的超出了我們的預(yù)期。”
Shi指出,利用物理模擬計(jì)算全息圖涉及到計(jì)算全息圖中許多塊的外觀,然后將它們結(jié)合起來得到最終的全息圖。他說,使用查找表就像記憶一組常用的全息圖塊,但這犧牲了準(zhǔn)確性,仍然需要組合步驟。
在某種程度上,計(jì)算機(jī)生成的全息圖有點(diǎn)像計(jì)算如何切蛋糕,Shi說。使用物理模擬來計(jì)算空間中每個(gè)點(diǎn)的外觀是一個(gè)耗時(shí)的過程,類似于使用八次精確切割來生產(chǎn)八片蛋糕。使用計(jì)算機(jī)生成全息圖的查找表就像在切割前標(biāo)記每個(gè)切片的邊界一樣。雖然這樣做省去了計(jì)算切割位置的步驟,節(jié)省了一點(diǎn)時(shí)間,但執(zhí)行所有八次切割仍然需要大量時(shí)間。
相比之下,新技術(shù)利用深度學(xué)習(xí),從根本上解決了如何只切三次蛋糕就把蛋糕切成八片的問題,Shi說。卷積神經(jīng)網(wǎng)絡(luò)——一個(gè)大致模擬人腦如何處理視覺數(shù)據(jù)的系統(tǒng)——學(xué)習(xí)“捷徑”來生成一個(gè)完整的全息圖,而不需要單獨(dú)計(jì)算每一塊全息圖的顯示方式,“這將使總運(yùn)算量減少幾個(gè)數(shù)量級,”他說。
研究人員首先建立了一個(gè)由4000張計(jì)算機(jī)生成的圖像組成的自定義數(shù)據(jù)庫,每個(gè)圖像都包含每個(gè)像素的顏色和深度信息。該數(shù)據(jù)庫還包括對應(yīng)于每個(gè)圖像的三維全息圖。接下來,算法開始發(fā)揮作用。卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如何生成新的全息圖,通過多攝像頭設(shè)置或激光雷達(dá)傳感器進(jìn)行計(jì)算。
新系統(tǒng)需要不到620 kilobytes的內(nèi)存,并且可以在單個(gè)消費(fèi)級GPU上每秒生成60幅分辨率為1920×1080像素的彩色3D全息圖。研究人員可以在iPhone11Pro上以每秒1.1個(gè)全息圖的速度運(yùn)行它,在Google Edge TPU上以每秒2個(gè)全息圖的速度運(yùn)行它,這意味著有朝一日它可以在未來的虛擬現(xiàn)實(shí)(VR)和增強(qiáng)現(xiàn)實(shí)(AR)移動(dòng)耳機(jī)上實(shí)時(shí)生成全息圖。
實(shí)時(shí) 3D 全息技術(shù)還有助于 VR、3D 打印等系統(tǒng)的發(fā)展。研究團(tuán)隊(duì)表示,新系統(tǒng)可以幫助 VR 觀眾沉浸在更真實(shí)的場景中,同時(shí)消除眼睛疲勞和長期使用 VR 的其他副作用。這項(xiàng)技術(shù)可以很容易地應(yīng)用在調(diào)制光波相位的顯示器上。目前,大多數(shù)價(jià)格合理的消費(fèi)級顯示器只調(diào)節(jié)亮度,但如果廣泛采用 3D 全息技術(shù),相位調(diào)制顯示器的成本會(huì)下降。
未來的研究可能會(huì)增加眼睛跟蹤技術(shù),通過創(chuàng)建只有眼睛看的地方才有高分辨率的全息圖來加速系統(tǒng)的速度,Shi說。另外,他補(bǔ)充,另一個(gè)方向是根據(jù)人的視覺敏銳度來制作全息圖。
原文標(biāo)題:研究人員推出3D全息圖生成新方法 可在智能手機(jī)上實(shí)時(shí)運(yùn)行
文章出處:【微信公眾號:IEEE電氣電子工程師學(xué)會(huì)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
責(zé)任編輯:haq
-
3D
+關(guān)注
關(guān)注
9文章
2959瀏覽量
110802 -
vr
+關(guān)注
關(guān)注
34文章
9675瀏覽量
152731
原文標(biāo)題:研究人員推出3D全息圖生成新方法 可在智能手機(jī)上實(shí)時(shí)運(yùn)行
文章出處:【微信號:IEEE_China,微信公眾號:IEEE電氣電子工程師】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
GLAD:利用全息圖實(shí)現(xiàn)加密和解密
GLAD應(yīng)用:體全息光柵模擬

2025Q1中國手機(jī)市場:華為領(lǐng)跑 #智能手機(jī) #消費(fèi)電子 #晶揚(yáng)電子 #華為
NVIDIA助力影眸科技3D生成工具Rodin升級
中國智能手機(jī)復(fù)合材料后蓋搭載量快速增長

院校3D全息互動(dòng)教學(xué)系統(tǒng),VR教育展廳全息電子沙盤,投影數(shù)字沙盤軟件

從浙江交工到陜西建工,揭秘全息柜臺在建筑行業(yè)的創(chuàng)新應(yīng)用

3D 全息投影智慧燈桿:智慧城市的夢幻之光
騰訊混元3D AI創(chuàng)作引擎正式上線
AI性能行業(yè)標(biāo)桿,天璣9400成就智能手機(jī)新高度

mmc卡在智能手機(jī)中的應(yīng)用
UV光固化技術(shù)在3D打印中的應(yīng)用

評論