Email:[email protected]
近眼顯示器(Near eye display, NED)或頭戴顯示器(Head mounted display, HMD)作為實(shí)現(xiàn)虛擬現(xiàn)實(shí)(Virtual reality,,VR)和增強(qiáng)現(xiàn)實(shí)(Augmented Reality,,AR)并提供沉浸式和交互式體驗(yàn)的基本設(shè)備,可將數(shù)字世界與物理世界無縫融合,,有望成為下一代增強(qiáng)現(xiàn)實(shí)顯示終端。目前,NED 面臨的一個(gè)關(guān)鍵問題是輻輳-聚焦沖突,,用戶長時(shí)間觀看會導(dǎo)致眼睛疲勞和不適,。視網(wǎng)膜投影顯示(Retinal Projection Displays,RPD)技術(shù)具有全景聚焦(always in focus)的圖像特征,,自然化解了輻輳-聚焦沖突,,成為近眼顯示領(lǐng)域的研究熱點(diǎn)之一,。
與傳統(tǒng)直視式顯示相比,RPD 將圖像源直接成像到人眼瞳孔中的獨(dú)特原理造就了諸多優(yōu)勢,。第一,,RPD 將近乎所有的光都匯聚到人眼中,因此系統(tǒng)光效很高,,特別適合于戶外使用,。第二,通過增加目鏡的數(shù)值孔徑可以直接獲得大視場的近眼顯示,。第三,,RPD 的全景聚焦特征自然化解了近眼顯示存在的輻輳-聚焦沖突,可以實(shí)現(xiàn)無視疲勞的 AR 近眼顯示,。在某些 AR 應(yīng)用如車輛輔助駕駛上,,駕駛員雙眼對焦在車外不同距離處時(shí)均可看清虛擬圖像,,避免了在車外路況與虛擬圖像之間來回對焦引發(fā)的風(fēng)險(xiǎn),增加了駕駛安全性,。
近日,,合肥工業(yè)大學(xué) 王梓 副研究員和 呂國強(qiáng) 教授團(tuán)隊(duì)在《液晶與顯示》(ESCI、Scopus 收錄,,中文核心期刊)2022 年第 5 期發(fā)表了題為“視網(wǎng)膜投影顯示技術(shù)研究進(jìn)展”綜述文章,。
本文回顧了 RPD 技術(shù)的發(fā)展,闡述了 RPD 的基本工作原理,,綜述了 RPD 及其出瞳拓展方面的最新進(jìn)展,,并對其未來的前景進(jìn)行了展望。
RPD 這一概念最早出現(xiàn)在 1860 年物理學(xué)家麥克斯韋所做的一個(gè)實(shí)驗(yàn)中,。他將光源通過透鏡直接成像在瞳孔中,,由此觀察到透鏡被光線均勻地照明。這種將光源成像在瞳孔中的方法被稱為麥克斯韋觀察法(Maxwellian viewing),。在該技術(shù)基礎(chǔ)上,,Kollin 等人加入圖像源,開發(fā)了第一款 RPD 顯示器原型,。隨后,,RPD 技術(shù)受到研究者的廣泛關(guān)注。
圖1:(a)基于 SLM 的視網(wǎng)膜投影顯示,;(b)基于 LBS 的視網(wǎng)膜投影顯示,。
圖源:液晶與顯示, 2022, 37(5): 640. Fig.1
圖1為傳統(tǒng) RPD 的基本原理圖。在圖1(a)中,,點(diǎn)光源經(jīng)透鏡準(zhǔn)直后,,平行照射空間光調(diào)制器(Spatial light modulator,SLM)加載數(shù)字圖像信息,,經(jīng)目鏡在人眼瞳孔處匯聚成光點(diǎn),直接投射到人眼視網(wǎng)膜上成像,而不受人眼調(diào)焦的影響,。平行光源在瞳孔處的成像產(chǎn)生了小于瞳孔直徑的出瞳孔徑,,大幅增加了近眼顯示系統(tǒng)的景深。
圖1(b)是另一種采用 LBS(Laser beam scanning, LBS)方式的 RPD 顯示原理,。微機(jī)電系統(tǒng)(Micro-Electro-Mec hanical System, MEMS)掃描鏡對激光束做二維方向的掃描偏轉(zhuǎn),,同時(shí)對激光束的強(qiáng)度進(jìn)行同步調(diào)制,加載圖像信息,,實(shí)現(xiàn)激光束掃描投影,。再通過目鏡在人眼瞳孔處匯聚成光點(diǎn),實(shí)現(xiàn)視網(wǎng)膜投影顯示,。LBS 方式利用激光的高準(zhǔn)直性實(shí)現(xiàn)小出瞳孔徑,,與圖1(a)中的被動式光機(jī)相比,,是一種主動式的顯示方法。
由于光線被匯聚至一點(diǎn),,過小的出瞳(eyebox)尺寸使得人眼瞳孔必須正好位于光點(diǎn)上時(shí)才能接收到圖像,,而微小的偏移將導(dǎo)致圖像消失。因此出瞳拓展是 RPD 所要解決的關(guān)鍵問題,。圍繞該問題,,國內(nèi)外學(xué)者給出了形式多樣的解決方案,主要分為幾何光學(xué)與衍射光學(xué)兩大類,。
基于幾何光學(xué)的 RPD 通過透鏡等幾何光學(xué)元件,,將光束匯聚到人眼瞳孔中,基于幾何光學(xué)的 RPD 的出瞳拓展方法可分為視點(diǎn)復(fù)制和視點(diǎn)轉(zhuǎn)向兩類,。
圖2:視網(wǎng)膜投影出瞳拓展,;(a)分光鏡陣列;(b)機(jī)械轉(zhuǎn)向鏡,;(c)LED 陣列
圖源:液晶與顯示, 2022, 37(5): 641. Fig.2
視點(diǎn)復(fù)制通過產(chǎn)生多個(gè)視點(diǎn),,以覆蓋較大的眼動范圍。圖2(a)所示是分光鏡陣列方法,,使光路多次透反射后形成 3×3 個(gè)視點(diǎn)陣列來拓展出瞳,。這種視點(diǎn)復(fù)制方法簡單有效,但需要格外注意視點(diǎn)間距與瞳孔直徑之間的匹配,。如圖3所示,,視點(diǎn)間距小于瞳孔直徑時(shí)會導(dǎo)致視點(diǎn)間串?dāng)_,視點(diǎn)間距大于瞳孔直徑時(shí)會導(dǎo)致圖像丟失,。由于人眼瞳孔直徑隨環(huán)境光強(qiáng)的變化而改變,,視點(diǎn)間距的設(shè)計(jì)也面臨挑戰(zhàn)。此外,,視點(diǎn)復(fù)制得越多,,每一視點(diǎn)圖像亮度也隨之降低。
圖3:(a)視點(diǎn)間距過小導(dǎo)致串?dāng)_,;(b)視點(diǎn)間距過大導(dǎo)致圖像丟失
圖源:液晶與顯示, 2022, 37(5): 641. Fig.3
相比之下,,如圖2(b)所示,視點(diǎn)轉(zhuǎn)向方法會根據(jù)瞳孔的位置動態(tài)地改變視點(diǎn)的位置,。圖2(c)所示是一種利用發(fā)光二極管(Light-emitting diode ,,LED)光源陣列方案來實(shí)現(xiàn)視點(diǎn)轉(zhuǎn)向的方法,根據(jù)瞳孔追蹤的信息動態(tài)控制不同位置 LED 發(fā)光,,以生成瞳孔面不同位置的視點(diǎn),,從而拓展出瞳。另一方面,,LED 光源陣列方案亦可實(shí)現(xiàn)視點(diǎn)復(fù)制,。通過高速切換 LED 光源,,并同步刷新 SLM 上加載的圖像,可以實(shí)現(xiàn)視點(diǎn)復(fù)制,。
采用幾何透鏡不利于光學(xué)系統(tǒng)的減薄,,而透鏡全息光學(xué)元件(Holographic optical element,HOE)作為離軸的光學(xué)組合器,,可以較好地解決輕薄化問題,。如圖4所示,經(jīng)過光學(xué)干涉制備的透鏡 HOE,,作為平面光學(xué)元件,,同時(shí)具備了聚焦與反射的光學(xué)效果。同時(shí)由于布拉格光柵的波長選擇性,,透鏡 HOE 對環(huán)境光的透過率接近 100%,。利用透鏡 HOE 對 LBS、LCOS 等圖像源光束進(jìn)行匯聚,,可以實(shí)現(xiàn)結(jié)構(gòu)緊湊,、高光效的 RPD 系統(tǒng)。
圖4:(a)透鏡 HOE 對 LBS 圖像源光束匯聚,;(b)透鏡 HOE 對 SLM 圖像源光束匯聚
圖源:液晶與顯示, 2022, 37(5): 642. Fig.4
與前述幾何透鏡 RPD 的出瞳拓展類似,,在基于 HOE 的 RPD 中,如圖5(a)所示,,采用透鏡陣列 HOE 產(chǎn)生點(diǎn)光源陣列復(fù)制視點(diǎn),,或采用機(jī)械偏轉(zhuǎn)鏡偏轉(zhuǎn)視點(diǎn)是常見的出瞳拓展方法。此外,,如圖5(b)所示,,HOE 的角度復(fù)用特性提供了另一種可能的解決方案,將多個(gè)匯聚光束記錄到同一個(gè) HOE 中,,從而將信號光匯聚到 3 個(gè)不同視點(diǎn),。
圖5:(a)透鏡陣列 HOE 產(chǎn)生的點(diǎn)光源陣列;(b)多個(gè)匯聚光束記錄到同一個(gè) HOE
圖源:液晶與顯示, 2022, 37(5): 642. Fig.5
近年來,,具備偏振特性的體光柵器件(PVG)或液晶 HOE(LCHOE)也被用于實(shí)現(xiàn) RPD 的出瞳拓展,。與傳統(tǒng) HOE 記錄干涉光束的強(qiáng)度不同,由于液晶固有的各向異性特性,,PVG 對信號光的偏振態(tài)非常敏感。該特性結(jié)合液晶器件的偏振調(diào)制能力,,為 RPD 系統(tǒng)出瞳拓展提供新的可能,。如圖6(a),反射式液晶全息光學(xué)元件(LCHOEs)的偏振選擇特性,,通過控制偏振轉(zhuǎn)換器(PC)動態(tài)切換入射光偏振態(tài)可以使得左手性 LCHOE 與右手性 LCHOE 分別發(fā)揮作用,,從而實(shí)現(xiàn) RPD 視點(diǎn)位置的動態(tài)切換,。如圖6(b),同樣基于偏振選擇性,,利用透射式偏振光柵(PG)器件與偏振轉(zhuǎn)換器動態(tài)切換光束方向,,配合 HOE 產(chǎn)生兩組可切換的視點(diǎn),以緩解傳統(tǒng) HOE 復(fù)制視點(diǎn)可能出現(xiàn)的視點(diǎn)串?dāng)_及圖像丟失,。
圖6:(a)反射式 PVG,;(b)透射式 PVG
圖源:液晶與顯示, 2022, 37(5): 643. Fig.6
除了傳統(tǒng)二維圖像源,如圖7(a)和(b)所示,,利用全息波前調(diào)制能力生成三維圖像源并由透鏡或 HOE 匯聚到人眼中,,可以實(shí)現(xiàn)具有深度感的全息 RPD 近眼顯示。如圖7(c)所示,,結(jié)合復(fù)用編碼技術(shù),,可以僅采用 60hz 空間光調(diào)制器實(shí)現(xiàn)彩色的動態(tài)全息 RPD。
圖7:(a)(b)全息圖像源的 RPD; (c)復(fù)用編碼技術(shù)實(shí)現(xiàn)彩色 RPD
圖源:(a)ACM Transactions on Graphics (Tog), 2017,36(4): 1-16. Fig14; (b) SID Symposium Digest of Technical Papers. Oxford, UK: Blackwell Publishing Ltd, 2011,42(1): 591-594. Fig1; (c)Opt. Express, 2021,29, 8098-8107. Fig.1
如圖8所示,,全息 RPD 通過在相位全息圖添加不同平面載波,,并采用透鏡將重建圖像匯聚到不同視點(diǎn)位置,可以輕易的實(shí)現(xiàn)出瞳拓展,。
圖8:相位全息圖拓展出瞳原理:(a)透視圖;(b)俯視
圖源:Opt. Lett. 2022, 47: 445-448. Fig.1
圖9則展示了利用振幅全息圖的共軛光來拓展全息 RPD 的出瞳,,將傳統(tǒng)無用的共軛光干擾轉(zhuǎn)化成視點(diǎn)陣列,實(shí)現(xiàn)了雙倍的視點(diǎn)復(fù)制,。
圖9:共軛光項(xiàng)編碼實(shí)現(xiàn)全息視網(wǎng)膜投影出瞳拓展
圖源:Optics Letters, 2021,46(22): 5623-5626. Fig.5
圖10:(a)全息 RPD 原理 (b)采用多球面波編碼的全息 RPD 出瞳拓展
圖源:液晶與顯示, 2022, 37(5): 643. Fig.7
圖10(a)所示是一種新型的無透鏡波前調(diào)控全息 RPD 方法,,將目標(biāo)圖像作為振幅,乘以匯聚球面波相位,,再通過菲涅爾衍射并引入?yún)⒖脊飧缮?,得到最終的振幅全息圖,這種方法摒棄了透鏡的使用,,直接通過 SLM 波前調(diào)制實(shí)現(xiàn)視網(wǎng)膜投影,。
結(jié)合人眼追蹤,視點(diǎn)三維坐標(biāo)可以通過編碼球面波相位進(jìn)行自由精準(zhǔn)的操控,,具有無透鏡像差,、高系統(tǒng)自由度等優(yōu)點(diǎn)。全息 RPD 的全息圖計(jì)算過程十分簡單,,對計(jì)算資源的需求較低,。此外,由于使用球面波相位替代了傳統(tǒng)隨機(jī)相位,,散斑噪聲得到了較好的抑制,。這種無透鏡全息 RPD 的靈活波前調(diào)控特性也可以簡單地實(shí)現(xiàn)視點(diǎn)復(fù)制。如圖10(b)所示,通過乘上不同方向閃耀光柵的多個(gè)球面波相位可以將光線匯聚到多個(gè)視點(diǎn),。
可以看出,,與傳統(tǒng)復(fù)制視點(diǎn)方法不同,無透鏡的全息 RPD 利用波前編碼實(shí)現(xiàn)光束匯聚,、偏轉(zhuǎn)及復(fù)制,,可以對視點(diǎn)三維坐標(biāo)、數(shù)量及間距靈活調(diào)控,,以匹配瞳孔位置及大小的變化,,有效解決視點(diǎn)串?dāng)_及圖像丟失問題。
通過在單張全息圖中編碼三色 RPD 波前信息,,可以實(shí)現(xiàn)低散斑噪聲的彩色動態(tài)無透鏡全息 RPD 顯示及橫向出瞳拓展,,圖11(a)顯示了具有 AR 效果的彩色重建圖像,不同深度處均清晰可見,。如圖11(b)所示,,將多個(gè)虛擬圖像源編碼到一幅全息圖可以實(shí)現(xiàn)全彩動態(tài)多通道全息近眼顯示器,允許用戶通過簡單的眼睛旋轉(zhuǎn)自由地在不同的視頻通道之間快速切換,。
另外,,結(jié)合超多視點(diǎn)(super multi view,SMV)顯示特性的無透鏡全息 RPD,,將多個(gè)視差圖像乘以對應(yīng)球面波會聚到瞳孔中,,可以提供單目深度線索,圖11(c)展示了不同深度的重建結(jié)果,。
圖11(a)基于球面波的全息 RPD 產(chǎn)生的具有 AR 效果的彩色重建圖像; (b) 全彩動態(tài)多通道全息近眼 RPD; (c)全息超多視點(diǎn) RPD 重建結(jié)果
圖源:(a)Optics Letters, 2021, 46(17): 4112-4115,;(b)Optics Letters, in review;(c)Optics Letters, 2022, 47(10): 2530-2533.
RPD 近眼顯示具有高光效,,大視場等特點(diǎn),,其全景聚焦特征自然化解了輻輳-聚焦沖突,可以實(shí)現(xiàn)無視疲勞的 AR 近眼顯示,。針對出瞳拓展問題,,幾何光學(xué)方法常采用點(diǎn)光源陣列與機(jī)械偏轉(zhuǎn)鏡等手段實(shí)現(xiàn)視點(diǎn)的復(fù)制或偏轉(zhuǎn),但具備一定的復(fù)雜性,。
HOE 獨(dú)特的角度和偏振復(fù)用特性有助于實(shí)現(xiàn)大視場,、大出瞳的輕薄化 RPD 系統(tǒng)。全息 RPD 直接通過 SLM 波前調(diào)制實(shí)現(xiàn)視網(wǎng)膜投影,,可以實(shí)現(xiàn)對視點(diǎn)的自由,、精準(zhǔn)的操控。但全息 RPD 系統(tǒng)的出瞳與視場角仍受到 SLM 器件的限制,。未來,,通過結(jié)合全息波前調(diào)控與 HOE 的優(yōu)點(diǎn),,有望實(shí)現(xiàn)大視場、大出瞳,、高系統(tǒng)自由度的輕薄化 RPD 近眼顯示。
張旭, 王梓, 屠科鋒, 陳濤, 龐煜劍, 呂國強(qiáng), 馮奇斌. 視網(wǎng)膜投影顯示技術(shù)研究進(jìn)展[J]. 液晶與顯示, 2022, 37(5):639-646.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0040
王梓,,合肥工業(yè)大學(xué)副研究員,,碩士生導(dǎo)師。2012年,、2017年于中國科學(xué)技術(shù)大學(xué)分別獲得物理學(xué)學(xué)士和博士學(xué)位,,主要從事計(jì)算全息、3D顯示,、近眼顯示等方面的研究,。先后承擔(dān)國家自然科學(xué)基金、國家工程技術(shù)研究中心課題,、安徽省重大專項(xiàng)等多項(xiàng)科研項(xiàng)目,。已在 Optics Letters、Optics Express,、Applied Physics Letters 等著名期刊發(fā)表 SCI 學(xué)術(shù)論文 30 余篇,。
E-mail:[email protected]
監(jiān)制 | 張瑩,趙陽 編輯 | 趙唯