人妻秘书ol中文字幕星空传媒影视公司|中文字幕人妻中文字幕成人性电影|国产精品美女久久久久久免费亚洲国产精品中文字幕一区久久|中文字幕在线天堂中文字幕一区一区二区三区|91丨九色丨国产熟女a|亚洲国产精品91|91极品国产|色悠悠国产精品|亚洲av一线二线久久性色|9区中文字幕在线,999中文字幕精品,成人久久不卡一区二区三区,国产av专区网站大全

 
Tel:153 2100 2012

Beijing Four Sentences of Heng Qu science and technology Co., Ltd.
北京橫渠四句科技有限公司
擬轉(zhuǎn)化成果 | 懸浮3D顯示+手勢(shì)交互=未來(lái)觸手可及
來(lái)源:中國(guó)光學(xué)《液晶與顯示》(ESCI,、Scopus收錄,,中文核心期刊)2022 年第 5 期 | 作者:4SHQ | 發(fā)布時(shí)間: 963天前 | 3292 次瀏覽 | 分享到:

在電影《鋼鐵俠 2》中有這樣一幕:影片主角托尼·斯塔克在一張懸浮的 3D 地圖上輕點(diǎn)手指,,地圖發(fā)生令人眼花繚亂的變化,他過(guò)世的父親遺留給他的“信息”——一種新型人造元素的 3D 原子結(jié)構(gòu)模型被提取出來(lái)。

圖片

圖1:《鋼鐵俠 2》電影片段

許許多多的科幻電影中的類(lèi)似場(chǎng)景無(wú)不體現(xiàn)出人們對(duì) 3D 顯示與交互無(wú)限的遐想,??上驳氖牵@樣的遐想或許有望在不遠(yuǎn)的將來(lái)成為現(xiàn)實(shí),。

近日,,北京航空航天大學(xué) 王瓊?cè)A 教授團(tuán)隊(duì)開(kāi)發(fā)出一套懸浮真 3D 顯示實(shí)時(shí)交互系統(tǒng),展現(xiàn)出了該種 3D 顯示與交互系統(tǒng)的雛形,。該系統(tǒng)能夠動(dòng)態(tài)地顯示裸眼3D圖像,,在 3D 片源分辨率為 4K 下實(shí)現(xiàn) 30 幀/秒的實(shí)時(shí),、準(zhǔn)確的手勢(shì)交互,,并且支持通過(guò)預(yù)設(shè)的多種手勢(shì)實(shí)現(xiàn)多手對(duì)多物體的獨(dú)立交互
該成果以“基于 Leap Motion 手勢(shì)識(shí)別的懸浮真 3D 顯示實(shí)時(shí)交互系統(tǒng)”為題發(fā)表于《液晶與顯示》(ESCI,、Scopus收錄,,中文核心期刊)2022 年第 5 期。

  1. 懸浮真 3D 顯示實(shí)時(shí)交互系統(tǒng)構(gòu)成  

該系統(tǒng)主要分為顯示模塊和交互模塊,,并通過(guò)計(jì)算機(jī)進(jìn)行銜接和數(shù)據(jù)處理,。

圖片

圖2:系統(tǒng)結(jié)構(gòu)
圖源:液晶與顯示, 2022, 37(5): 658. Fig. 6

顯示模塊基于集成成像 3D 顯示,這一技術(shù)可追溯到 1908 年 Lippmann G. 提出的集成攝影術(shù),。集成成像 3D 顯示利用光路可逆原理,,使用透鏡陣列將光線在特定的空間點(diǎn)先匯聚再發(fā)散,如同光本就是從匯聚點(diǎn)發(fā)出的一樣,,從而模擬真實(shí)物體表面發(fā)光或反射光的情況,,因此被認(rèn)為是一種裸眼真 3D 顯示。

在此基礎(chǔ)上研究人員應(yīng)用了懸浮器件——二面角反射鏡陣列,。從一個(gè)點(diǎn)光源出發(fā)出的光經(jīng)過(guò)每個(gè)二面角反射鏡單元后,,被反射 2 次匯聚成懸浮于空中的像。因此集成成像 3D 顯示的 3D 圖像將被投射出整個(gè)系統(tǒng)之外,,帶來(lái)更強(qiáng)的視覺(jué)沖擊,,也為更自由的交互提供便利。

圖片

圖3:懸浮真 3D 顯示原理
圖源:液晶與顯示, 2022, 37(5): 655. Fig. 2

圖片
圖4:二面角反射鏡單元
圖源:液晶與顯示, 2022, 37(5):655. Fig. 3

交互模塊通過(guò)體感控制器 Leap Motion 采集手勢(shì)數(shù)據(jù),。Leap Motion 是一款基于雙目計(jì)算機(jī)視覺(jué)的體感控制器,,它通過(guò)頂部的透明窗口拍攝圖片,提取用戶(hù)手的關(guān)節(jié)特征,,進(jìn)而反映整個(gè)手的手勢(shì)和姿態(tài),。Leap Motion 采集到的數(shù)據(jù)將被送入計(jì)算機(jī)處理,把用戶(hù)手勢(shì)反映的信息轉(zhuǎn)化為控制 3D 片源變化的指令,,實(shí)現(xiàn) 3D 片源隨著手勢(shì)動(dòng)態(tài)變化,,也就能結(jié)合顯示模塊實(shí)現(xiàn) 3D 圖像隨著手勢(shì)動(dòng)態(tài)變化。

圖片

圖5:Leap Motion 以及參考坐標(biāo)系
圖源:Leap Motion 官網(wǎng)

  2. 準(zhǔn)確手勢(shì)交互的實(shí)現(xiàn)方法  

由于 Leap Motion 的參考坐標(biāo)系和 3D 圖像的參考坐標(biāo)系原本不存在關(guān)聯(lián),因此懸浮于用戶(hù)身體左側(cè)的物體可能與位于用戶(hù)身體右側(cè)的手產(chǎn)生交互,,這就自然而然帶來(lái)違和感和交互的不便利性,。

為解決此問(wèn)題,研究人員通過(guò)標(biāo)定以及矩陣變換的方法,,將 Leap Motion 的坐標(biāo)映射到 3D 圖像的參考坐標(biāo)系,;相當(dāng)于在 3D 圖像所在的虛擬空間生成了一個(gè)虛擬手來(lái)控制 3D 圖像的變化,而這一虛擬手由于現(xiàn)實(shí)中用戶(hù)的手處在相同的空間位置,,達(dá)到了虛擬和現(xiàn)實(shí)的統(tǒng)一,。

  3. 多手對(duì)多物體的獨(dú)立交互  
目前國(guó)內(nèi)外進(jìn)行了一些懸浮真 3D 顯示手勢(shì)交互技術(shù)研究,但多數(shù)僅考慮單個(gè) 3D 物體的交互或 3D 場(chǎng)景的整體交互,,未考慮復(fù)雜 3D 場(chǎng)景中多個(gè) 3D 物體的獨(dú)立交互,。那么如何理解獨(dú)立交互呢?想象一下我們?nèi)粘I钪杏玫降膫€(gè)人電腦,,我們新建兩個(gè)窗口,,只拖動(dòng)位于上層的窗口,這一交互操作不會(huì)對(duì)位于下層的窗口產(chǎn)生影響,,反之亦然,,那么我們認(rèn)為這兩個(gè)窗口對(duì)象都是可以獨(dú)立交互的。

圖片

圖片

圖6:2D 顯示鼠標(biāo)交互

在 2D 顯示下的鼠標(biāo)交互,,由于兩窗口重疊的區(qū)域窗口會(huì)發(fā)生遮擋,,我們能夠交互到的只有上層的窗口;而且鼠標(biāo)只能單點(diǎn)交互,,不能同時(shí)拖動(dòng)兩個(gè)窗口,,因此獨(dú)立交互較容易實(shí)現(xiàn)。而在 3D 顯示,、手勢(shì)交互的系統(tǒng)中,,1 和 2 兩個(gè) 3D 物體一旦發(fā)生重合,重合區(qū)域既屬于物體 1 又屬于物體 2,。因此有時(shí)用戶(hù)只需要對(duì) 1 進(jìn)行交互的時(shí)候不小心穿過(guò)了 2,,就會(huì)導(dǎo)致 2 也被交互了,我們稱(chēng)這種現(xiàn)象為交互串?dāng)_,。當(dāng)系統(tǒng)由單手交互擴(kuò)展到多手交互,,每只手都需要進(jìn)行不同的交互,因此在 3D 物體互不干擾的前提下,,還需要能實(shí)現(xiàn)不同物體同時(shí)響應(yīng)對(duì)應(yīng)手的交互,。

為此研究人員提出一種交互通道機(jī)制。每個(gè) 3D 物體都有一個(gè)通道用于連接一只虛擬手,。成功連接的 3D 物體與手建立其交互關(guān)系,,它的交互通道就被這只手的數(shù)據(jù)占用了,,那么其他手將無(wú)法占據(jù)這一交互通道,其他的 3D 物體將不會(huì)再容許這只手占用交互通道,,使得成功連接的 3D 物體與手成為獨(dú)立的交互組合,,直到手主動(dòng)放棄交互。

圖片

圖7:多物體交互的通道機(jī)制
圖源:液晶與顯示, 2022, 37(5): 657. Fig.5

利用交互通道機(jī)制,,可以有效減少多手對(duì)多物體之間的交互串?dāng)_,,實(shí)現(xiàn)獨(dú)立交互;當(dāng)然在特定的手勢(shì)下也可以讓 3D 場(chǎng)景全局或局部的幾個(gè)物體按照同一交互方式進(jìn)行交互,。交互通道機(jī)制使交互的設(shè)計(jì)與實(shí)現(xiàn)更加靈活,,更加有助于激發(fā)用戶(hù)的創(chuàng)造性。





視頻:懸浮真 3D 顯示實(shí)時(shí)交互效果

  4. 懸浮真 3D 顯示實(shí)時(shí)交互系統(tǒng)的應(yīng)用前景  

懸浮真 3D 顯示與手勢(shì)交互結(jié)合,,符合現(xiàn)實(shí)世界中人與真實(shí)物體交互的自然觀感,,因此可以將現(xiàn)實(shí)世界和虛擬世界重疊甚至混淆,實(shí)現(xiàn)亦虛亦實(shí)的信息交流,;其應(yīng)用于影音娛樂(lè),、會(huì)議辦公、文化展覽等場(chǎng)景,,為元宇宙發(fā)展提供一種可能的方向。另一方面,,該系統(tǒng)的交互操作可避免不必要的接觸,,特別有利于減少疾病傳播風(fēng)險(xiǎn),在新冠疫情背景下具有潛在的便利性和安全性?xún)?yōu)勢(shì),。

  論文信息  

林星雨, 邢妍, 張漢樂(lè), 王瓊?cè)A. 基于Leap Motion手勢(shì)識(shí)別的懸浮真3D顯示實(shí)時(shí)交互系統(tǒng)[J]. 液晶與顯示, 2022, 37(5):654-659.
?https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0060

  通訊作者介紹  

圖片
王瓊?cè)A,,北京航空航天大學(xué)儀器科學(xué)與光電工程學(xué)院教授/博士生導(dǎo)師、教育部長(zhǎng)江學(xué)者特聘教授,、國(guó)家杰出青年科學(xué)基金獲得者,、國(guó)家“萬(wàn)人計(jì)劃”科技創(chuàng)新領(lǐng)軍人才、國(guó)際信息顯示學(xué)會(huì)會(huì)士(SID Fellow),、中國(guó)物理學(xué)會(huì)液晶分會(huì)副主任,、中國(guó)圖象圖形學(xué)學(xué)會(huì)三維成像與顯示副主任委員,Journal of the Society for Information Display 等國(guó)際期刊 Associate Editor 和《液晶與顯示》等期刊編委,。1992 年,、1995 年和 2001 年于電子科技大學(xué)先后獲得學(xué)士、碩士和博士學(xué)位,,1995-2001 年在電子科技大學(xué)任助教,、講師和副教授,2001-2004 年在美國(guó)中佛羅里達(dá)大學(xué)光學(xué)中心任 Research Scientist,,2004-2018 年在四川大學(xué)任教授和博士生導(dǎo)師,。主要研究方向?yàn)轱@示與成像技術(shù),負(fù)責(zé)完成了國(guó)家級(jí)科研項(xiàng)目 20 余項(xiàng),現(xiàn)為國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目和國(guó)家重大科研儀器研制項(xiàng)目的負(fù)責(zé)人,。研制了裸眼3D顯示器,、3D 攝像機(jī)、新型液晶顯示器,、液晶透鏡,、可變焦液體透鏡和連續(xù)光學(xué)變焦顯微鏡等;獲得省部級(jí)科技獎(jiǎng)勵(lì) 6 項(xiàng),,獲準(zhǔn)美國(guó)和中國(guó)發(fā)明專(zhuān)利 150 余項(xiàng),,出版著作 3 部,發(fā)表了 SCI 收錄論文 300 余篇,。



監(jiān)制 | 張瑩,、趙陽(yáng)

編輯 | 趙唯