Email:[email protected]
預(yù)期目標(biāo):到2025年,,在保證高質(zhì)量的視覺效果條件下,,三維空間不規(guī)則動(dòng)態(tài)網(wǎng)格、稠密點(diǎn)云序列和隱式表示三維模型等6自由度數(shù)據(jù)編碼壓縮率達(dá)到行業(yè)領(lǐng)先水平,。實(shí)現(xiàn)點(diǎn)云序列傳輸方案設(shè)計(jì),,實(shí)現(xiàn)至少1種點(diǎn)云傳輸協(xié)議驗(yàn)證。
(四)面向元宇宙沉浸多感交互的5G-A網(wǎng)絡(luò)
揭榜任務(wù):研究元宇宙業(yè)務(wù)QoS,、網(wǎng)絡(luò)資源,、計(jì)算資源等多要素聯(lián)合受限下的5G-A網(wǎng)絡(luò)容量理論模型,指導(dǎo)系統(tǒng)性能評(píng)估及容量優(yōu)化,。研究支持元宇宙終端計(jì)算任務(wù)卸載到邊緣,、云的5G-A網(wǎng)絡(luò)端邊云協(xié)同優(yōu)化,有效降低終端的計(jì)算開銷及功耗,。研究基于網(wǎng)絡(luò)狀態(tài),、用戶行為和媒體特征等多維感知信息的沉浸式媒體自適應(yīng)傳輸,有效提升網(wǎng)絡(luò)資源利用率及系統(tǒng)容量,。研究基于視頻,、音頻、動(dòng)作及觸覺等多模態(tài)數(shù)據(jù)的5G-A網(wǎng)絡(luò)多模態(tài)協(xié)同傳輸,,支持多模態(tài)多感官實(shí)時(shí)交互,。
預(yù)期目標(biāo):到2025年,完成云VR,、云AR,、分離渲染等元宇宙典型應(yīng)用場景的系統(tǒng)容量理論模型;支持5G-A網(wǎng)絡(luò)下的終端計(jì)算任務(wù)卸載,,實(shí)現(xiàn)終端計(jì)算開銷及功耗的有效降低;支持沉浸式媒體自適應(yīng)傳輸,,實(shí)現(xiàn)網(wǎng)絡(luò)資源利用率提升,,相比現(xiàn)有5G網(wǎng)絡(luò),單小區(qū)系統(tǒng)容量(并發(fā)XR用戶數(shù))提升3倍以上,;支持多模態(tài)協(xié)同傳輸,,多模態(tài)交互場景下端到端時(shí)延不超過50毫秒。相關(guān)技術(shù)指標(biāo)應(yīng)通過實(shí)驗(yàn)室仿真驗(yàn)證或系統(tǒng)原型樣機(jī)驗(yàn)證,,達(dá)到行業(yè)領(lǐng)先水平,。
(五)基于物體特征點(diǎn)的三維模型快速匹配系統(tǒng)
揭榜任務(wù):針對(duì)基于圖像的三維建模,,開展三維模型特征點(diǎn)匹配和對(duì)比的研究。主要利用優(yōu)化后的基于特征(形狀)的技術(shù)方法進(jìn)行粗配準(zhǔn),,利用優(yōu)化后的基于幾何(icp)的技術(shù)方法進(jìn)行精配準(zhǔn),,通過降維以及限制自由度的方式實(shí)現(xiàn)快速、穩(wěn)定的配準(zhǔn),。突破對(duì)點(diǎn)云數(shù)據(jù)的無序性,、非結(jié)構(gòu)化、不均勻和噪聲等干擾,,有效地利用已有的信息實(shí)現(xiàn)精確,、魯棒的點(diǎn)云配準(zhǔn)算法,實(shí)現(xiàn)在室內(nèi)正常光照條件下,,在市場主流移動(dòng)設(shè)備上快速,、精確地完成點(diǎn)云的配準(zhǔn)。實(shí)現(xiàn)在工業(yè)設(shè)備維修維護(hù)等場景的應(yīng)用,,解決技術(shù)專家無法到場指導(dǎo)設(shè)備維修維護(hù)的問題,。需要兼容不同的主芯片平臺(tái)。
預(yù)期目標(biāo):到2025年,,完成基于物體特征點(diǎn)的三維模型快速匹配算法,;根據(jù)不同設(shè)備尺寸,建模階段,,采集不多于4000個(gè)特征點(diǎn)即滿足物體的建模要求,,配準(zhǔn)階段,不多于10秒完成配準(zhǔn),,物體特征點(diǎn)的精確度偏差毫米級(jí),。實(shí)現(xiàn)在200-2000勒克斯光照強(qiáng)度范圍內(nèi),即使建模和配準(zhǔn)的環(huán)境光照不同,,算法都能穩(wěn)定,、準(zhǔn)確地配準(zhǔn)。系統(tǒng)在重點(diǎn)領(lǐng)域?qū)崿F(xiàn)規(guī)?;逃?。
二、重點(diǎn)產(chǎn)品
(六)高逼真數(shù)字人快速構(gòu)建與多模態(tài)交互系統(tǒng)
揭榜任務(wù):研制高速4D面部采集技術(shù),,研究并實(shí)現(xiàn)批量化,、自動(dòng)化的產(chǎn)業(yè)級(jí)面部模型處理與制作流程?;诙嗄B(tài)信息進(jìn)行多樣化采集,,建設(shè)人臉高精度4D模型數(shù)據(jù)庫,實(shí)現(xiàn)高逼真數(shù)字人面部和身體的快速構(gòu)建,。搭建基于大模型的多模態(tài)數(shù)字人交互系統(tǒng),,實(shí)現(xiàn)視覺,、聽覺等多模態(tài)輸入信息的統(tǒng)一表征,實(shí)現(xiàn)基于預(yù)訓(xùn)練模型的表情,、動(dòng)作推理,。