Email:[email protected]
由北京航空航天大學 王瓊?cè)A 教授組織的”3D 顯示技術(shù)及應用”專刊發(fā)表在《液晶與顯示》(ESCI,、Scopus收錄,中文核心期刊)2022 年第 5 期(??溄?gt;),該??瘒@光場 3D 顯示,、多視點 3D 顯示、全息 3D 顯示,、近眼顯示和3D 交互等內(nèi)容進行原創(chuàng)成果的展示和研究進展的專題綜述,。其中,,北京郵電大學信息光子學與光通信國家重點實驗室桑新柱教授研究團隊集中展示了四項重要研究成果,。
在全息 3D 顯示方面,桑新柱等人提出了基于數(shù)字微鏡器件的高分辨率計算全息顯示,,實現(xiàn)了大尺寸高分辨率的動態(tài)全息顯示效果,。在光場 3D 顯示方面,高鑫等人提出了基于預處理卷積神經(jīng)網(wǎng)絡提升 3D 光場顯示視覺分辨率的方法,,展示了 70 度視角的光場顯示效果,;于迅博等人提出了一種裸眼 3D 顯示中的多視點校正方案,解決了空間視點分布和采集分布不匹配的問題,。在多視點 3D 顯示方面,,于迅博等人提出了一種視點均勻分布的桌面式光場顯示系統(tǒng),改善了視點間的串擾問題,。以上一系列 3D 顯示技術(shù)及應用研究成果的展示,,希望能為廣大 3D 顯示領(lǐng)域同行提供借鑒,帶來一些有益的啟發(fā),,同時希望能推動 3D 顯示的技術(shù)進步和應用推廣,。
1. 基于數(shù)字微鏡器件的高分辨率計算全息顯示
全息顯示技術(shù)通過記錄和再現(xiàn)物體的波前來重建具有正確深度信息的三維圖像,可以克服其他三維顯示技術(shù)中輻輳調(diào)焦不匹配、人眼視覺疲勞等不足,,在教育,、軍事、工業(yè),、醫(yī)療,、娛樂等行業(yè)中應用廣泛。隨著計算機軟硬件性能的提升和光電器件技術(shù)的發(fā)展,,基于空間光調(diào)制器的計算全息顯示成為當前的研究熱點,,可以存儲或顯示虛擬的目標物體,方便進行異地傳輸,、遠程連接或?qū)崟r動態(tài)顯示等,。然而,空間光調(diào)制器都是像素化的調(diào)制器件,,其調(diào)制動態(tài)范圍和精度有限,,因此計算全息受到光電器件參數(shù)(例如器件像素大小和總體尺寸)和計算負荷等的影響,很難實現(xiàn)高分辨率大尺寸的動態(tài)全息顯示,。
針對全息圖局部信息可完整再現(xiàn)物面信息的特性,,桑新柱、李會等人提出了一種基于數(shù)字微鏡器件的高分辨率大尺寸全息顯示方法,。該方法利用計算機渲染或相關(guān)變換方法生成高分辨率輸入圖像,,利用菲涅爾衍射算法和傅立葉變換并行計算提升全息圖的分辨率,根據(jù)數(shù)字微鏡器件特性進行衍射圖像的時空復用與動態(tài)融合,,有效提升計算全息顯示的分辨率與動態(tài)效率,。實驗結(jié)果表明,該方法可實現(xiàn)大尺寸高分辨率的動態(tài)全息顯示效果,,突破了數(shù)字微鏡器件固有的像素數(shù)目及分辨率限制,,利用并行計算方法大大提升了高分辨率計算全息顯示的計算效率。當加載不同時間序列的子全息圖時均可達到高分辨率重建,,根據(jù)人眼的視覺暫留效應,,使用像素分辨率為 2K 的數(shù)字微鏡器件可顯示 8K 甚至更高分辨率的重建圖像。
圖1:實驗光路圖與高分辨率動態(tài)全息顯示方法
圖源:液晶與顯示, 2022, 37(5):625-631.
論文信息
李會, 桑新柱*, 仲崇力, 秦秀娟, 王葵如, 顏玢玢. 基于數(shù)字微鏡器件的高分辨率計算全息顯示[J]. 液晶與顯示, 2022, 37(5): 625-631.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0038
2. 基于預處理卷積神經(jīng)網(wǎng)絡提升 3D 光場顯示視覺分辨率的方法
3D 光場顯示技術(shù)因具有較大的觀看視角,、密集的觀看視點而被研究學者們關(guān)注,。分辨率是 3D 光場顯示技術(shù)的一個重要參數(shù),提升分辨率的方法較為復雜,,因此研究學者們開始關(guān)注視覺分辨率,。為了提高 3D 光場顯示的視覺分辨率,高鑫,、于迅博,、桑新柱等人提出了基于預處理卷積神經(jīng)網(wǎng)絡提升 3D 光場顯示視覺分辨率的方法,。首先根據(jù)彌散斑之間相互疊加的情況建立了 3D 光場顯示視覺分辨率增強模型,然后對現(xiàn)有透鏡陣列中的光學元件進行像差分析,,提取高斯核陣列,,其次基于高斯核陣列、高分辨率的基元圖像陣列搭建了深度學習神經(jīng)網(wǎng)絡,,網(wǎng)絡經(jīng)過約 50,000 次的迭代可以收斂,,用時 1800s。將收斂后的網(wǎng)絡應用于初始基元圖像陣列,,進而得到可用于視覺分辨率增強的預處理基元圖像陣列,。光學實驗中,采用了由定向擴散膜,、透鏡陣列和 LCD 組成的光場顯示系統(tǒng),。透鏡陣列規(guī)模為 53×30,相鄰透鏡單元之間的中心距離是 13 mm,,LCD 的尺寸為 32 英寸,,分辨率為 7680×4320。在 70 度的視角內(nèi),,由視覺分辨率增強方法產(chǎn)生的 3D 圖像更加清晰,,并提供了更多的街道細節(jié)信息。
圖2:未使用優(yōu)化方法和采用視覺分辨率增強方法的街道場景的三維光場顯示
圖源:液晶與顯示, 2022, 37(5):549-554.
論文信息
于迅博,,李涵宇,,高鑫*,桑新柱,,顏玢玢,,粟曦雯,溫旭東,,徐斌,,王越笛. 基于預處理卷積神經(jīng)網(wǎng)絡提升3D光場顯示視覺分辨率的方法[J]. 液晶與顯示, 2022, 37(5):549-554.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0044
3. 一種裸眼 3D 顯示中的多視點校正方案
裸眼 3D 顯示中傳統(tǒng)的多視點采集方式為均勻采集。研究表明,,因柱透鏡光柵存在畸變,導致顯示器構(gòu)建的視點分布并不均勻,,進而導致顯示器視點和采集視點不匹配,,產(chǎn)生了視點圖像錯位、透視關(guān)系錯誤等問題,,影響最終的觀看體驗,。因此,提出一種針對裸眼 3D 中多視點圖像的校正方案,,使采集視點匹配顯示器視點分布,,并填充正確視點圖像,,對提升光柵裸眼 3D 顯示的觀看效果是尤為必要的。
針對上述問題,,于迅博,、李寧馳、桑新柱等人提出了一種多視點圖像分布校正方案,,由一種視點篩選算法和中間視點生成網(wǎng)絡構(gòu)成,,結(jié)合空間視點真實分布規(guī)律,針對均勻采集的多視點圖像進行視點篩選,,以指導中間視點預測網(wǎng)絡生成對應位置的虛擬視點,,使之匹配顯示器構(gòu)建視點位置;提出了一種基于光流預測模塊和融合校正網(wǎng)絡的高效中間視點生成網(wǎng)絡,,在 34 ms 內(nèi)渲染插值視點,,生成視點與真值的 PSNR 在 30 dB 以上。實驗證明該方案為顯示器視點填充了正確的視差圖,,有效地解決了顯示器空間視點和采集視點的位置不匹配問題,、提升了光柵立體顯示器的觀看質(zhì)量。該工作有望在虛擬視點生成,、平滑運動視差,、增強現(xiàn)實等領(lǐng)域得到進一步擴展和應用。
圖3:多視點采集校正方案
圖源:液晶與顯示, 2022, 37(5):605-612.
論文信息
李寧馳,,于迅博*,,高鑫,顏玢玢,,桑新柱,,溫旭東,徐斌. 一種裸眼3D顯示中的多視點校正方案[J]. 液晶與顯示, 2022, 37(5): 605-612.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0039
4. 一種視點均勻分布的桌面式光場顯示系統(tǒng)
三維電子沙盤可以顯示高質(zhì)量的三維地理地形圖像,,幫助使用者更加形象具體地判斷地理結(jié)構(gòu)和地形細節(jié),,從而提高工作的精確性和效率?;谝朁c分段式體像素的桌面式光場顯示系統(tǒng)具有正面觀看視區(qū)以及 100° 超大視角,,能夠顯示具有全視差的高質(zhì)量三維圖像,是實現(xiàn)三維電子沙盤的一個可靠解決方案,。但是,,該系統(tǒng)構(gòu)建的視點在空間中分布不均勻,導致顯示的三維圖像出現(xiàn)透視關(guān)系不正確以及視點間的串擾等問題,,影響顯示質(zhì)量,。
針對上述問題,于迅博,、徐斌,、桑新柱等人分析發(fā)現(xiàn)系統(tǒng)采用的柱透鏡存在像差,,使得定向光線經(jīng)過透鏡折射后無法會聚于一點,而是形成彌散斑的形狀,。根據(jù)斯涅爾定律,,透鏡對邊緣光線的折射能力更強,使得視點在視區(qū)中間分布密集,,視區(qū)邊緣分布稀疏,。為了均勻系統(tǒng)的視點分布,,提升顯示性能,,采用非球面對透鏡面型進行優(yōu)化,,能夠減少透鏡數(shù)量,避免復雜的透鏡結(jié)構(gòu),。引入非球面對透鏡進行光學優(yōu)化,,采用阻尼最小二乘法對初級像差和其他高階像差進行迭代優(yōu)化,計算出最優(yōu)的結(jié)果,。經(jīng)過優(yōu)化后,,透鏡所形成彌散斑的均方根半徑由 66.640 μm 減小為 0.404 μm,透鏡的像差得到了極大抑制,。采用所設計的透鏡進行實驗后發(fā)現(xiàn),,系統(tǒng)視點的均勻性得到了顯著提升,顯示圖像透視關(guān)系不正確以及視點間的串擾等問題都得到了明顯改善,。
圖4:基于視點分段式體像素的桌面光場顯示系統(tǒng)的光路圖
圖源:液晶與顯示, 2022, 37(5):573-580.
論文信息
徐斌,,于迅博*,高鑫,,桑新柱. 一種視點均勻分布的桌面式光場顯示系統(tǒng)[J]. 液晶與顯示, 2022, 37(5): 573-580.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0041
監(jiān)制 | 張瑩,、趙陽
編輯 | 趙唯