Email:[email protected]
由北京航空航天大學(xué) 王瓊?cè)A 教授組織的”3D 顯示技術(shù)及應(yīng)用”專(zhuān)刊發(fā)表在《液晶與顯示》(ESCI、Scopus收錄,,中文核心期刊)2022 年第 5 期(專(zhuān)刊鏈接>),,該專(zhuān)刊圍繞光場(chǎng) 3D 顯示、多視點(diǎn) 3D 顯示,、全息 3D 顯示,、近眼顯示和3D 交互等內(nèi)容進(jìn)行原創(chuàng)成果的展示和研究進(jìn)展的專(zhuān)題綜述。其中,,北京郵電大學(xué)信息光子學(xué)與光通信國(guó)家重點(diǎn)實(shí)驗(yàn)室桑新柱教授研究團(tuán)隊(duì)集中展示了四項(xiàng)重要研究成果,。
在全息 3D 顯示方面,桑新柱等人提出了基于數(shù)字微鏡器件的高分辨率計(jì)算全息顯示,,實(shí)現(xiàn)了大尺寸高分辨率的動(dòng)態(tài)全息顯示效果,。在光場(chǎng) 3D 顯示方面,高鑫等人提出了基于預(yù)處理卷積神經(jīng)網(wǎng)絡(luò)提升 3D 光場(chǎng)顯示視覺(jué)分辨率的方法,,展示了 70 度視角的光場(chǎng)顯示效果,;于迅博等人提出了一種裸眼 3D 顯示中的多視點(diǎn)校正方案,解決了空間視點(diǎn)分布和采集分布不匹配的問(wèn)題,。在多視點(diǎn) 3D 顯示方面,,于迅博等人提出了一種視點(diǎn)均勻分布的桌面式光場(chǎng)顯示系統(tǒng),改善了視點(diǎn)間的串?dāng)_問(wèn)題,。以上一系列 3D 顯示技術(shù)及應(yīng)用研究成果的展示,,希望能為廣大 3D 顯示領(lǐng)域同行提供借鑒,帶來(lái)一些有益的啟發(fā),,同時(shí)希望能推動(dòng) 3D 顯示的技術(shù)進(jìn)步和應(yīng)用推廣,。
1. 基于數(shù)字微鏡器件的高分辨率計(jì)算全息顯示
全息顯示技術(shù)通過(guò)記錄和再現(xiàn)物體的波前來(lái)重建具有正確深度信息的三維圖像,可以克服其他三維顯示技術(shù)中輻輳調(diào)焦不匹配,、人眼視覺(jué)疲勞等不足,,在教育、軍事、工業(yè),、醫(yī)療,、娛樂(lè)等行業(yè)中應(yīng)用廣泛。隨著計(jì)算機(jī)軟硬件性能的提升和光電器件技術(shù)的發(fā)展,,基于空間光調(diào)制器的計(jì)算全息顯示成為當(dāng)前的研究熱點(diǎn),,可以存儲(chǔ)或顯示虛擬的目標(biāo)物體,方便進(jìn)行異地傳輸,、遠(yuǎn)程連接或?qū)崟r(shí)動(dòng)態(tài)顯示等,。然而,空間光調(diào)制器都是像素化的調(diào)制器件,,其調(diào)制動(dòng)態(tài)范圍和精度有限,,因此計(jì)算全息受到光電器件參數(shù)(例如器件像素大小和總體尺寸)和計(jì)算負(fù)荷等的影響,很難實(shí)現(xiàn)高分辨率大尺寸的動(dòng)態(tài)全息顯示,。
針對(duì)全息圖局部信息可完整再現(xiàn)物面信息的特性,,桑新柱、李會(huì)等人提出了一種基于數(shù)字微鏡器件的高分辨率大尺寸全息顯示方法,。該方法利用計(jì)算機(jī)渲染或相關(guān)變換方法生成高分辨率輸入圖像,,利用菲涅爾衍射算法和傅立葉變換并行計(jì)算提升全息圖的分辨率,根據(jù)數(shù)字微鏡器件特性進(jìn)行衍射圖像的時(shí)空復(fù)用與動(dòng)態(tài)融合,,有效提升計(jì)算全息顯示的分辨率與動(dòng)態(tài)效率,。實(shí)驗(yàn)結(jié)果表明,該方法可實(shí)現(xiàn)大尺寸高分辨率的動(dòng)態(tài)全息顯示效果,,突破了數(shù)字微鏡器件固有的像素?cái)?shù)目及分辨率限制,,利用并行計(jì)算方法大大提升了高分辨率計(jì)算全息顯示的計(jì)算效率。當(dāng)加載不同時(shí)間序列的子全息圖時(shí)均可達(dá)到高分辨率重建,,根據(jù)人眼的視覺(jué)暫留效應(yīng),,使用像素分辨率為 2K 的數(shù)字微鏡器件可顯示 8K 甚至更高分辨率的重建圖像。
圖1:實(shí)驗(yàn)光路圖與高分辨率動(dòng)態(tài)全息顯示方法
圖源:液晶與顯示, 2022, 37(5):625-631.
論文信息
李會(huì), 桑新柱*, 仲崇力, 秦秀娟, 王葵如, 顏玢玢. 基于數(shù)字微鏡器件的高分辨率計(jì)算全息顯示[J]. 液晶與顯示, 2022, 37(5): 625-631.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0038
2. 基于預(yù)處理卷積神經(jīng)網(wǎng)絡(luò)提升 3D 光場(chǎng)顯示視覺(jué)分辨率的方法
3D 光場(chǎng)顯示技術(shù)因具有較大的觀看視角,、密集的觀看視點(diǎn)而被研究學(xué)者們關(guān)注,。分辨率是 3D 光場(chǎng)顯示技術(shù)的一個(gè)重要參數(shù),提升分辨率的方法較為復(fù)雜,,因此研究學(xué)者們開(kāi)始關(guān)注視覺(jué)分辨率,。為了提高 3D 光場(chǎng)顯示的視覺(jué)分辨率,高鑫,、于迅博,、桑新柱等人提出了基于預(yù)處理卷積神經(jīng)網(wǎng)絡(luò)提升 3D 光場(chǎng)顯示視覺(jué)分辨率的方法。首先根據(jù)彌散斑之間相互疊加的情況建立了 3D 光場(chǎng)顯示視覺(jué)分辨率增強(qiáng)模型,,然后對(duì)現(xiàn)有透鏡陣列中的光學(xué)元件進(jìn)行像差分析,,提取高斯核陣列,,其次基于高斯核陣列、高分辨率的基元圖像陣列搭建了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),,網(wǎng)絡(luò)經(jīng)過(guò)約 50,000 次的迭代可以收斂,,用時(shí) 1800s。將收斂后的網(wǎng)絡(luò)應(yīng)用于初始基元圖像陣列,,進(jìn)而得到可用于視覺(jué)分辨率增強(qiáng)的預(yù)處理基元圖像陣列,。光學(xué)實(shí)驗(yàn)中,采用了由定向擴(kuò)散膜,、透鏡陣列和 LCD 組成的光場(chǎng)顯示系統(tǒng),。透鏡陣列規(guī)模為 53×30,相鄰?fù)哥R單元之間的中心距離是 13 mm,,LCD 的尺寸為 32 英寸,,分辨率為 7680×4320。在 70 度的視角內(nèi),,由視覺(jué)分辨率增強(qiáng)方法產(chǎn)生的 3D 圖像更加清晰,,并提供了更多的街道細(xì)節(jié)信息,。
圖2:未使用優(yōu)化方法和采用視覺(jué)分辨率增強(qiáng)方法的街道場(chǎng)景的三維光場(chǎng)顯示
圖源:液晶與顯示, 2022, 37(5):549-554.
論文信息
于迅博,,李涵宇,高鑫*,,桑新柱,,顏玢玢,粟曦雯,,溫旭東,,徐斌,王越笛. 基于預(yù)處理卷積神經(jīng)網(wǎng)絡(luò)提升3D光場(chǎng)顯示視覺(jué)分辨率的方法[J]. 液晶與顯示, 2022, 37(5):549-554.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0044
3. 一種裸眼 3D 顯示中的多視點(diǎn)校正方案
裸眼 3D 顯示中傳統(tǒng)的多視點(diǎn)采集方式為均勻采集,。研究表明,,因柱透鏡光柵存在畸變,導(dǎo)致顯示器構(gòu)建的視點(diǎn)分布并不均勻,,進(jìn)而導(dǎo)致顯示器視點(diǎn)和采集視點(diǎn)不匹配,,產(chǎn)生了視點(diǎn)圖像錯(cuò)位、透視關(guān)系錯(cuò)誤等問(wèn)題,,影響最終的觀看體驗(yàn),。因此,提出一種針對(duì)裸眼 3D 中多視點(diǎn)圖像的校正方案,,使采集視點(diǎn)匹配顯示器視點(diǎn)分布,,并填充正確視點(diǎn)圖像,對(duì)提升光柵裸眼 3D 顯示的觀看效果是尤為必要的,。
針對(duì)上述問(wèn)題,,于迅博、李寧馳、桑新柱等人提出了一種多視點(diǎn)圖像分布校正方案,,由一種視點(diǎn)篩選算法和中間視點(diǎn)生成網(wǎng)絡(luò)構(gòu)成,,結(jié)合空間視點(diǎn)真實(shí)分布規(guī)律,針對(duì)均勻采集的多視點(diǎn)圖像進(jìn)行視點(diǎn)篩選,,以指導(dǎo)中間視點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)生成對(duì)應(yīng)位置的虛擬視點(diǎn),,使之匹配顯示器構(gòu)建視點(diǎn)位置;提出了一種基于光流預(yù)測(cè)模塊和融合校正網(wǎng)絡(luò)的高效中間視點(diǎn)生成網(wǎng)絡(luò),,在 34 ms 內(nèi)渲染插值視點(diǎn),,生成視點(diǎn)與真值的 PSNR 在 30 dB 以上。實(shí)驗(yàn)證明該方案為顯示器視點(diǎn)填充了正確的視差圖,,有效地解決了顯示器空間視點(diǎn)和采集視點(diǎn)的位置不匹配問(wèn)題,、提升了光柵立體顯示器的觀看質(zhì)量。該工作有望在虛擬視點(diǎn)生成,、平滑運(yùn)動(dòng)視差,、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域得到進(jìn)一步擴(kuò)展和應(yīng)用。
圖3:多視點(diǎn)采集校正方案
圖源:液晶與顯示, 2022, 37(5):605-612.
論文信息
李寧馳,,于迅博*,,高鑫,顏玢玢,,桑新柱,,溫旭東,徐斌. 一種裸眼3D顯示中的多視點(diǎn)校正方案[J]. 液晶與顯示, 2022, 37(5): 605-612.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0039
4. 一種視點(diǎn)均勻分布的桌面式光場(chǎng)顯示系統(tǒng)
三維電子沙盤(pán)可以顯示高質(zhì)量的三維地理地形圖像,,幫助使用者更加形象具體地判斷地理結(jié)構(gòu)和地形細(xì)節(jié),,從而提高工作的精確性和效率?;谝朁c(diǎn)分段式體像素的桌面式光場(chǎng)顯示系統(tǒng)具有正面觀看視區(qū)以及 100° 超大視角,,能夠顯示具有全視差的高質(zhì)量三維圖像,是實(shí)現(xiàn)三維電子沙盤(pán)的一個(gè)可靠解決方案,。但是,,該系統(tǒng)構(gòu)建的視點(diǎn)在空間中分布不均勻,導(dǎo)致顯示的三維圖像出現(xiàn)透視關(guān)系不正確以及視點(diǎn)間的串?dāng)_等問(wèn)題,,影響顯示質(zhì)量,。
針對(duì)上述問(wèn)題,于迅博,、徐斌,、桑新柱等人分析發(fā)現(xiàn)系統(tǒng)采用的柱透鏡存在像差,使得定向光線(xiàn)經(jīng)過(guò)透鏡折射后無(wú)法會(huì)聚于一點(diǎn),,而是形成彌散斑的形狀,。根據(jù)斯涅爾定律,,透鏡對(duì)邊緣光線(xiàn)的折射能力更強(qiáng),使得視點(diǎn)在視區(qū)中間分布密集,,視區(qū)邊緣分布稀疏,。為了均勻系統(tǒng)的視點(diǎn)分布,提升顯示性能,,采用非球面對(duì)透鏡面型進(jìn)行優(yōu)化,,能夠減少透鏡數(shù)量,避免復(fù)雜的透鏡結(jié)構(gòu),。引入非球面對(duì)透鏡進(jìn)行光學(xué)優(yōu)化,,采用阻尼最小二乘法對(duì)初級(jí)像差和其他高階像差進(jìn)行迭代優(yōu)化,計(jì)算出最優(yōu)的結(jié)果,。經(jīng)過(guò)優(yōu)化后,,透鏡所形成彌散斑的均方根半徑由 66.640 μm 減小為 0.404 μm,透鏡的像差得到了極大抑制,。采用所設(shè)計(jì)的透鏡進(jìn)行實(shí)驗(yàn)后發(fā)現(xiàn),,系統(tǒng)視點(diǎn)的均勻性得到了顯著提升,顯示圖像透視關(guān)系不正確以及視點(diǎn)間的串?dāng)_等問(wèn)題都得到了明顯改善,。
圖4:基于視點(diǎn)分段式體像素的桌面光場(chǎng)顯示系統(tǒng)的光路圖
圖源:液晶與顯示, 2022, 37(5):573-580.
論文信息
徐斌,,于迅博*,高鑫,,桑新柱. 一種視點(diǎn)均勻分布的桌面式光場(chǎng)顯示系統(tǒng)[J]. 液晶與顯示, 2022, 37(5): 573-580.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0041
監(jiān)制 | 張瑩,、趙陽(yáng)
編輯 | 趙唯