Email:[email protected]
近眼顯示器(Near eye display, NED)或頭戴顯示器(Head mounted display, HMD)作為實(shí)現(xiàn)虛擬現(xiàn)實(shí)(Virtual reality,VR)和增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)并提供沉浸式和交互式體驗(yàn)的基本設(shè)備,可將數(shù)字世界與物理世界無(wú)縫融合,有望成為下一代增強(qiáng)現(xiàn)實(shí)顯示終端。目前,NED 面臨的一個(gè)關(guān)鍵問(wèn)題是輻輳-聚焦沖突,用戶長(zhǎng)時(shí)間觀看會(huì)導(dǎo)致眼睛疲勞和不適。視網(wǎng)膜投影顯示(Retinal Projection Displays,RPD)技術(shù)具有全景聚焦(always in focus)的圖像特征,自然化解了輻輳-聚焦沖突,成為近眼顯示領(lǐng)域的研究熱點(diǎn)之一。
與傳統(tǒng)直視式顯示相比,RPD 將圖像源直接成像到人眼瞳孔中的獨(dú)特原理造就了諸多優(yōu)勢(shì)。第一,RPD 將近乎所有的光都匯聚到人眼中,因此系統(tǒng)光效很高,特別適合于戶外使用。第二,通過(guò)增加目鏡的數(shù)值孔徑可以直接獲得大視場(chǎng)的近眼顯示。第三,RPD 的全景聚焦特征自然化解了近眼顯示存在的輻輳-聚焦沖突,可以實(shí)現(xiàn)無(wú)視疲勞的 AR 近眼顯示。在某些 AR 應(yīng)用如車輛輔助駕駛上,駕駛員雙眼對(duì)焦在車外不同距離處時(shí)均可看清虛擬圖像,避免了在車外路況與虛擬圖像之間來(lái)回對(duì)焦引發(fā)的風(fēng)險(xiǎn),增加了駕駛安全性。
近日,合肥工業(yè)大學(xué) 王梓 副研究員和 呂國(guó)強(qiáng) 教授團(tuán)隊(duì)在《液晶與顯示》(ESCI、Scopus 收錄,中文核心期刊)2022 年第 5 期發(fā)表了題為“視網(wǎng)膜投影顯示技術(shù)研究進(jìn)展”綜述文章。
本文回顧了 RPD 技術(shù)的發(fā)展,闡述了 RPD 的基本工作原理,綜述了 RPD 及其出瞳拓展方面的最新進(jìn)展,并對(duì)其未來(lái)的前景進(jìn)行了展望。
RPD 這一概念最早出現(xiàn)在 1860 年物理學(xué)家麥克斯韋所做的一個(gè)實(shí)驗(yàn)中。他將光源通過(guò)透鏡直接成像在瞳孔中,由此觀察到透鏡被光線均勻地照明。這種將光源成像在瞳孔中的方法被稱為麥克斯韋觀察法(Maxwellian viewing)。在該技術(shù)基礎(chǔ)上,Kollin 等人加入圖像源,開(kāi)發(fā)了第一款 RPD 顯示器原型。隨后,RPD 技術(shù)受到研究者的廣泛關(guān)注。
圖1:(a)基于 SLM 的視網(wǎng)膜投影顯示;(b)基于 LBS 的視網(wǎng)膜投影顯示。
圖源:液晶與顯示, 2022, 37(5): 640. Fig.1
圖1為傳統(tǒng) RPD 的基本原理圖。在圖1(a)中,點(diǎn)光源經(jīng)透鏡準(zhǔn)直后,平行照射空間光調(diào)制器(Spatial light modulator,SLM)加載數(shù)字圖像信息,經(jīng)目鏡在人眼瞳孔處匯聚成光點(diǎn),直接投射到人眼視網(wǎng)膜上成像,而不受人眼調(diào)焦的影響。平行光源在瞳孔處的成像產(chǎn)生了小于瞳孔直徑的出瞳孔徑,大幅增加了近眼顯示系統(tǒng)的景深。
圖1(b)是另一種采用 LBS(Laser beam scanning, LBS)方式的 RPD 顯示原理。微機(jī)電系統(tǒng)(Micro-Electro-Mec hanical System, MEMS)掃描鏡對(duì)激光束做二維方向的掃描偏轉(zhuǎn),同時(shí)對(duì)激光束的強(qiáng)度進(jìn)行同步調(diào)制,加載圖像信息,實(shí)現(xiàn)激光束掃描投影。再通過(guò)目鏡在人眼瞳孔處匯聚成光點(diǎn),實(shí)現(xiàn)視網(wǎng)膜投影顯示。LBS 方式利用激光的高準(zhǔn)直性實(shí)現(xiàn)小出瞳孔徑,與圖1(a)中的被動(dòng)式光機(jī)相比,是一種主動(dòng)式的顯示方法。
由于光線被匯聚至一點(diǎn),過(guò)小的出瞳(eyebox)尺寸使得人眼瞳孔必須正好位于光點(diǎn)上時(shí)才能接收到圖像,而微小的偏移將導(dǎo)致圖像消失。因此出瞳拓展是 RPD 所要解決的關(guān)鍵問(wèn)題。圍繞該問(wèn)題,國(guó)內(nèi)外學(xué)者給出了形式多樣的解決方案,主要分為幾何光學(xué)與衍射光學(xué)兩大類。
基于幾何光學(xué)的 RPD 通過(guò)透鏡等幾何光學(xué)元件,將光束匯聚到人眼瞳孔中,基于幾何光學(xué)的 RPD 的出瞳拓展方法可分為視點(diǎn)復(fù)制和視點(diǎn)轉(zhuǎn)向兩類。
圖2:視網(wǎng)膜投影出瞳拓展;(a)分光鏡陣列;(b)機(jī)械轉(zhuǎn)向鏡;(c)LED 陣列
圖源:液晶與顯示, 2022, 37(5): 641. Fig.2
視點(diǎn)復(fù)制通過(guò)產(chǎn)生多個(gè)視點(diǎn),以覆蓋較大的眼動(dòng)范圍。圖2(a)所示是分光鏡陣列方法,使光路多次透反射后形成 3×3 個(gè)視點(diǎn)陣列來(lái)拓展出瞳。這種視點(diǎn)復(fù)制方法簡(jiǎn)單有效,但需要格外注意視點(diǎn)間距與瞳孔直徑之間的匹配。如圖3所示,視點(diǎn)間距小于瞳孔直徑時(shí)會(huì)導(dǎo)致視點(diǎn)間串?dāng)_,視點(diǎn)間距大于瞳孔直徑時(shí)會(huì)導(dǎo)致圖像丟失。由于人眼瞳孔直徑隨環(huán)境光強(qiáng)的變化而改變,視點(diǎn)間距的設(shè)計(jì)也面臨挑戰(zhàn)。此外,視點(diǎn)復(fù)制得越多,每一視點(diǎn)圖像亮度也隨之降低。
圖3:(a)視點(diǎn)間距過(guò)小導(dǎo)致串?dāng)_;(b)視點(diǎn)間距過(guò)大導(dǎo)致圖像丟失
圖源:液晶與顯示, 2022, 37(5): 641. Fig.3
相比之下,如圖2(b)所示,視點(diǎn)轉(zhuǎn)向方法會(huì)根據(jù)瞳孔的位置動(dòng)態(tài)地改變視點(diǎn)的位置。圖2(c)所示是一種利用發(fā)光二極管(Light-emitting diode ,LED)光源陣列方案來(lái)實(shí)現(xiàn)視點(diǎn)轉(zhuǎn)向的方法,根據(jù)瞳孔追蹤的信息動(dòng)態(tài)控制不同位置 LED 發(fā)光,以生成瞳孔面不同位置的視點(diǎn),從而拓展出瞳。另一方面,LED 光源陣列方案亦可實(shí)現(xiàn)視點(diǎn)復(fù)制。通過(guò)高速切換 LED 光源,并同步刷新 SLM 上加載的圖像,可以實(shí)現(xiàn)視點(diǎn)復(fù)制。
采用幾何透鏡不利于光學(xué)系統(tǒng)的減薄,而透鏡全息光學(xué)元件(Holographic optical element,HOE)作為離軸的光學(xué)組合器,可以較好地解決輕薄化問(wèn)題。如圖4所示,經(jīng)過(guò)光學(xué)干涉制備的透鏡 HOE,作為平面光學(xué)元件,同時(shí)具備了聚焦與反射的光學(xué)效果。同時(shí)由于布拉格光柵的波長(zhǎng)選擇性,透鏡 HOE 對(duì)環(huán)境光的透過(guò)率接近 100%。利用透鏡 HOE 對(duì) LBS、LCOS 等圖像源光束進(jìn)行匯聚,可以實(shí)現(xiàn)結(jié)構(gòu)緊湊、高光效的 RPD 系統(tǒng)。
圖4:(a)透鏡 HOE 對(duì) LBS 圖像源光束匯聚;(b)透鏡 HOE 對(duì) SLM 圖像源光束匯聚
圖源:液晶與顯示, 2022, 37(5): 642. Fig.4
與前述幾何透鏡 RPD 的出瞳拓展類似,在基于 HOE 的 RPD 中,如圖5(a)所示,采用透鏡陣列 HOE 產(chǎn)生點(diǎn)光源陣列復(fù)制視點(diǎn),或采用機(jī)械偏轉(zhuǎn)鏡偏轉(zhuǎn)視點(diǎn)是常見(jiàn)的出瞳拓展方法。此外,如圖5(b)所示,HOE 的角度復(fù)用特性提供了另一種可能的解決方案,將多個(gè)匯聚光束記錄到同一個(gè) HOE 中,從而將信號(hào)光匯聚到 3 個(gè)不同視點(diǎn)。
圖5:(a)透鏡陣列 HOE 產(chǎn)生的點(diǎn)光源陣列;(b)多個(gè)匯聚光束記錄到同一個(gè) HOE
圖源:液晶與顯示, 2022, 37(5): 642. Fig.5
近年來(lái),具備偏振特性的體光柵器件(PVG)或液晶 HOE(LCHOE)也被用于實(shí)現(xiàn) RPD 的出瞳拓展。與傳統(tǒng) HOE 記錄干涉光束的強(qiáng)度不同,由于液晶固有的各向異性特性,PVG 對(duì)信號(hào)光的偏振態(tài)非常敏感。該特性結(jié)合液晶器件的偏振調(diào)制能力,為 RPD 系統(tǒng)出瞳拓展提供新的可能。如圖6(a),反射式液晶全息光學(xué)元件(LCHOEs)的偏振選擇特性,通過(guò)控制偏振轉(zhuǎn)換器(PC)動(dòng)態(tài)切換入射光偏振態(tài)可以使得左手性 LCHOE 與右手性 LCHOE 分別發(fā)揮作用,從而實(shí)現(xiàn) RPD 視點(diǎn)位置的動(dòng)態(tài)切換。如圖6(b),同樣基于偏振選擇性,利用透射式偏振光柵(PG)器件與偏振轉(zhuǎn)換器動(dòng)態(tài)切換光束方向,配合 HOE 產(chǎn)生兩組可切換的視點(diǎn),以緩解傳統(tǒng) HOE 復(fù)制視點(diǎn)可能出現(xiàn)的視點(diǎn)串?dāng)_及圖像丟失。
圖6:(a)反射式 PVG;(b)透射式 PVG
圖源:液晶與顯示, 2022, 37(5): 643. Fig.6
除了傳統(tǒng)二維圖像源,如圖7(a)和(b)所示,利用全息波前調(diào)制能力生成三維圖像源并由透鏡或 HOE 匯聚到人眼中,可以實(shí)現(xiàn)具有深度感的全息 RPD 近眼顯示。如圖7(c)所示,結(jié)合復(fù)用編碼技術(shù),可以僅采用 60hz 空間光調(diào)制器實(shí)現(xiàn)彩色的動(dòng)態(tài)全息 RPD。
圖7:(a)(b)全息圖像源的 RPD; (c)復(fù)用編碼技術(shù)實(shí)現(xiàn)彩色 RPD
圖源:(a)ACM Transactions on Graphics (Tog), 2017,36(4): 1-16. Fig14; (b) SID Symposium Digest of Technical Papers. Oxford, UK: Blackwell Publishing Ltd, 2011,42(1): 591-594. Fig1; (c)Opt. Express, 2021,29, 8098-8107. Fig.1
如圖8所示,全息 RPD 通過(guò)在相位全息圖添加不同平面載波,并采用透鏡將重建圖像匯聚到不同視點(diǎn)位置,可以輕易的實(shí)現(xiàn)出瞳拓展。
圖8:相位全息圖拓展出瞳原理:(a)透視圖;(b)俯視
圖源:Opt. Lett. 2022, 47: 445-448. Fig.1
圖9則展示了利用振幅全息圖的共軛光來(lái)拓展全息 RPD 的出瞳,將傳統(tǒng)無(wú)用的共軛光干擾轉(zhuǎn)化成視點(diǎn)陣列,實(shí)現(xiàn)了雙倍的視點(diǎn)復(fù)制。
圖9:共軛光項(xiàng)編碼實(shí)現(xiàn)全息視網(wǎng)膜投影出瞳拓展
圖源:Optics Letters, 2021,46(22): 5623-5626. Fig.5
圖10:(a)全息 RPD 原理 (b)采用多球面波編碼的全息 RPD 出瞳拓展
圖源:液晶與顯示, 2022, 37(5): 643. Fig.7
圖10(a)所示是一種新型的無(wú)透鏡波前調(diào)控全息 RPD 方法,將目標(biāo)圖像作為振幅,乘以匯聚球面波相位,再通過(guò)菲涅爾衍射并引入?yún)⒖脊飧缮妫玫阶罱K的振幅全息圖,這種方法摒棄了透鏡的使用,直接通過(guò) SLM 波前調(diào)制實(shí)現(xiàn)視網(wǎng)膜投影。
結(jié)合人眼追蹤,視點(diǎn)三維坐標(biāo)可以通過(guò)編碼球面波相位進(jìn)行自由精準(zhǔn)的操控,具有無(wú)透鏡像差、高系統(tǒng)自由度等優(yōu)點(diǎn)。全息 RPD 的全息圖計(jì)算過(guò)程十分簡(jiǎn)單,對(duì)計(jì)算資源的需求較低。此外,由于使用球面波相位替代了傳統(tǒng)隨機(jī)相位,散斑噪聲得到了較好的抑制。這種無(wú)透鏡全息 RPD 的靈活波前調(diào)控特性也可以簡(jiǎn)單地實(shí)現(xiàn)視點(diǎn)復(fù)制。如圖10(b)所示,通過(guò)乘上不同方向閃耀光柵的多個(gè)球面波相位可以將光線匯聚到多個(gè)視點(diǎn)。
可以看出,與傳統(tǒng)復(fù)制視點(diǎn)方法不同,無(wú)透鏡的全息 RPD 利用波前編碼實(shí)現(xiàn)光束匯聚、偏轉(zhuǎn)及復(fù)制,可以對(duì)視點(diǎn)三維坐標(biāo)、數(shù)量及間距靈活調(diào)控,以匹配瞳孔位置及大小的變化,有效解決視點(diǎn)串?dāng)_及圖像丟失問(wèn)題。
通過(guò)在單張全息圖中編碼三色 RPD 波前信息,可以實(shí)現(xiàn)低散斑噪聲的彩色動(dòng)態(tài)無(wú)透鏡全息 RPD 顯示及橫向出瞳拓展,圖11(a)顯示了具有 AR 效果的彩色重建圖像,不同深度處均清晰可見(jiàn)。如圖11(b)所示,將多個(gè)虛擬圖像源編碼到一幅全息圖可以實(shí)現(xiàn)全彩動(dòng)態(tài)多通道全息近眼顯示器,允許用戶通過(guò)簡(jiǎn)單的眼睛旋轉(zhuǎn)自由地在不同的視頻通道之間快速切換。
另外,結(jié)合超多視點(diǎn)(super multi view,SMV)顯示特性的無(wú)透鏡全息 RPD,將多個(gè)視差圖像乘以對(duì)應(yīng)球面波會(huì)聚到瞳孔中,可以提供單目深度線索,圖11(c)展示了不同深度的重建結(jié)果。
圖11(a)基于球面波的全息 RPD 產(chǎn)生的具有 AR 效果的彩色重建圖像; (b) 全彩動(dòng)態(tài)多通道全息近眼 RPD; (c)全息超多視點(diǎn) RPD 重建結(jié)果
圖源:(a)Optics Letters, 2021, 46(17): 4112-4115;(b)Optics Letters, in review;(c)Optics Letters, 2022, 47(10): 2530-2533.
RPD 近眼顯示具有高光效,大視場(chǎng)等特點(diǎn),其全景聚焦特征自然化解了輻輳-聚焦沖突,可以實(shí)現(xiàn)無(wú)視疲勞的 AR 近眼顯示。針對(duì)出瞳拓展問(wèn)題,幾何光學(xué)方法常采用點(diǎn)光源陣列與機(jī)械偏轉(zhuǎn)鏡等手段實(shí)現(xiàn)視點(diǎn)的復(fù)制或偏轉(zhuǎn),但具備一定的復(fù)雜性。
HOE 獨(dú)特的角度和偏振復(fù)用特性有助于實(shí)現(xiàn)大視場(chǎng)、大出瞳的輕薄化 RPD 系統(tǒng)。全息 RPD 直接通過(guò) SLM 波前調(diào)制實(shí)現(xiàn)視網(wǎng)膜投影,可以實(shí)現(xiàn)對(duì)視點(diǎn)的自由、精準(zhǔn)的操控。但全息 RPD 系統(tǒng)的出瞳與視場(chǎng)角仍受到 SLM 器件的限制。未來(lái),通過(guò)結(jié)合全息波前調(diào)控與 HOE 的優(yōu)點(diǎn),有望實(shí)現(xiàn)大視場(chǎng)、大出瞳、高系統(tǒng)自由度的輕薄化 RPD 近眼顯示。
張旭, 王梓, 屠科鋒, 陳濤, 龐煜劍, 呂國(guó)強(qiáng), 馮奇斌. 視網(wǎng)膜投影顯示技術(shù)研究進(jìn)展[J]. 液晶與顯示, 2022, 37(5):639-646.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0040
王梓,合肥工業(yè)大學(xué)副研究員,碩士生導(dǎo)師。2012年、2017年于中國(guó)科學(xué)技術(shù)大學(xué)分別獲得物理學(xué)學(xué)士和博士學(xué)位,主要從事計(jì)算全息、3D顯示、近眼顯示等方面的研究。先后承擔(dān)國(guó)家自然科學(xué)基金、國(guó)家工程技術(shù)研究中心課題、安徽省重大專項(xiàng)等多項(xiàng)科研項(xiàng)目。已在 Optics Letters、Optics Express、Applied Physics Letters 等著名期刊發(fā)表 SCI 學(xué)術(shù)論文 30 余篇。
E-mail:[email protected]
監(jiān)制 | 張瑩,趙陽(yáng) 編輯 | 趙唯