Email:[email protected]
預(yù)期目標(biāo):到2025年,,在保證高質(zhì)量的視覺效果條件下,,三維空間不規(guī)則動態(tài)網(wǎng)格、稠密點云序列和隱式表示三維模型等6自由度數(shù)據(jù)編碼壓縮率達到行業(yè)領(lǐng)先水平,。實現(xiàn)點云序列傳輸方案設(shè)計,,實現(xiàn)至少1種點云傳輸協(xié)議驗證。
(四)面向元宇宙沉浸多感交互的5G-A網(wǎng)絡(luò)
揭榜任務(wù):研究元宇宙業(yè)務(wù)QoS,、網(wǎng)絡(luò)資源,、計算資源等多要素聯(lián)合受限下的5G-A網(wǎng)絡(luò)容量理論模型,指導(dǎo)系統(tǒng)性能評估及容量優(yōu)化。研究支持元宇宙終端計算任務(wù)卸載到邊緣,、云的5G-A網(wǎng)絡(luò)端邊云協(xié)同優(yōu)化,,有效降低終端的計算開銷及功耗。研究基于網(wǎng)絡(luò)狀態(tài),、用戶行為和媒體特征等多維感知信息的沉浸式媒體自適應(yīng)傳輸,,有效提升網(wǎng)絡(luò)資源利用率及系統(tǒng)容量。研究基于視頻,、音頻,、動作及觸覺等多模態(tài)數(shù)據(jù)的5G-A網(wǎng)絡(luò)多模態(tài)協(xié)同傳輸,支持多模態(tài)多感官實時交互,。
預(yù)期目標(biāo):到2025年,,完成云VR、云AR,、分離渲染等元宇宙典型應(yīng)用場景的系統(tǒng)容量理論模型,;支持5G-A網(wǎng)絡(luò)下的終端計算任務(wù)卸載,實現(xiàn)終端計算開銷及功耗的有效降低,;支持沉浸式媒體自適應(yīng)傳輸,,實現(xiàn)網(wǎng)絡(luò)資源利用率提升,相比現(xiàn)有5G網(wǎng)絡(luò),,單小區(qū)系統(tǒng)容量(并發(fā)XR用戶數(shù))提升3倍以上,;支持多模態(tài)協(xié)同傳輸,多模態(tài)交互場景下端到端時延不超過50毫秒,。相關(guān)技術(shù)指標(biāo)應(yīng)通過實驗室仿真驗證或系統(tǒng)原型樣機驗證,,達到行業(yè)領(lǐng)先水平。
(五)基于物體特征點的三維模型快速匹配系統(tǒng)
揭榜任務(wù):針對基于圖像的三維建模,,開展三維模型特征點匹配和對比的研究,。主要利用優(yōu)化后的基于特征(形狀)的技術(shù)方法進行粗配準(zhǔn),利用優(yōu)化后的基于幾何(icp)的技術(shù)方法進行精配準(zhǔn),,通過降維以及限制自由度的方式實現(xiàn)快速,、穩(wěn)定的配準(zhǔn),。突破對點云數(shù)據(jù)的無序性,、非結(jié)構(gòu)化、不均勻和噪聲等干擾,,有效地利用已有的信息實現(xiàn)精確,、魯棒的點云配準(zhǔn)算法,實現(xiàn)在室內(nèi)正常光照條件下,,在市場主流移動設(shè)備上快速,、精確地完成點云的配準(zhǔn)。實現(xiàn)在工業(yè)設(shè)備維修維護等場景的應(yīng)用,解決技術(shù)專家無法到場指導(dǎo)設(shè)備維修維護的問題,。需要兼容不同的主芯片平臺,。
預(yù)期目標(biāo):到2025年,完成基于物體特征點的三維模型快速匹配算法,;根據(jù)不同設(shè)備尺寸,,建模階段,采集不多于4000個特征點即滿足物體的建模要求,,配準(zhǔn)階段,,不多于10秒完成配準(zhǔn),物體特征點的精確度偏差毫米級,。實現(xiàn)在200-2000勒克斯光照強度范圍內(nèi),,即使建模和配準(zhǔn)的環(huán)境光照不同,算法都能穩(wěn)定,、準(zhǔn)確地配準(zhǔn),。系統(tǒng)在重點領(lǐng)域?qū)崿F(xiàn)規(guī)模化商用,。
二,、重點產(chǎn)品
(六)高逼真數(shù)字人快速構(gòu)建與多模態(tài)交互系統(tǒng)
揭榜任務(wù):研制高速4D面部采集技術(shù),研究并實現(xiàn)批量化,、自動化的產(chǎn)業(yè)級面部模型處理與制作流程,。基于多模態(tài)信息進行多樣化采集,,建設(shè)人臉高精度4D模型數(shù)據(jù)庫,,實現(xiàn)高逼真數(shù)字人面部和身體的快速構(gòu)建。搭建基于大模型的多模態(tài)數(shù)字人交互系統(tǒng),,實現(xiàn)視覺,、聽覺等多模態(tài)輸入信息的統(tǒng)一表征,實現(xiàn)基于預(yù)訓(xùn)練模型的表情,、動作推理,。