Email:[email protected]
一,、所屬領(lǐng)域
人工智能,、圖像處理,、三維重建技術(shù)領(lǐng)域
二,、項(xiàng)目介紹 1. 痛點(diǎn)問題 本項(xiàng)預(yù)期成果是解決復(fù)雜場(chǎng)景中目標(biāo)三維數(shù)據(jù)重建,、驅(qū)動(dòng)的關(guān)鍵技術(shù)。 針對(duì)實(shí)際應(yīng)用中復(fù)雜運(yùn)動(dòng)場(chǎng)景,,例如剛性運(yùn)動(dòng)的交通工具,,變形移動(dòng)行人等,傳統(tǒng)的運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)方法在進(jìn)行場(chǎng)景深度求解時(shí)無法確定每個(gè)單元結(jié)構(gòu)的相對(duì)尺度,,導(dǎo)致無法對(duì)復(fù)雜運(yùn)動(dòng)場(chǎng)景進(jìn)行重建,。在現(xiàn)有的深度估計(jì)、語義分割,、位姿估計(jì)等相關(guān)技術(shù),,存在識(shí)別精度低、提取不到關(guān)鍵信息,、應(yīng)用場(chǎng)景單一等問題,,無法滿足大尺度場(chǎng)景應(yīng)用的需求。 2. 解決方案 本項(xiàng)目成果提出了一套面向目標(biāo),、人體深度數(shù)據(jù)重建技術(shù),,有效實(shí)現(xiàn)對(duì)復(fù)雜運(yùn)動(dòng)場(chǎng)景下人,、物的深度重建與驅(qū)動(dòng),有效解決現(xiàn)實(shí)場(chǎng)景目標(biāo)的數(shù)字化模型生成與虛擬場(chǎng)景下的驅(qū)動(dòng)映射問題,。提出多模態(tài)采集,、時(shí)空復(fù)用編碼攝像方法,獲取大景深,、高時(shí)空分辨,、豐富的精確場(chǎng)景視覺信息,基于超像素關(guān)系分析的深度重建方法,,包括目標(biāo)超像素分割,,圖像幀匹配,運(yùn)動(dòng)關(guān)系判定,,通過時(shí)序傳播與概率模型更新實(shí)現(xiàn)實(shí)時(shí)深度重建,,提高最終三維重建模型的稠密度、魯棒性,、一致性和準(zhǔn)確度,。構(gòu)建了基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)實(shí)例檢測(cè)與位姿估計(jì)框架,從目標(biāo)對(duì)象觀測(cè)圖片提取其分割掩碼并不斷迭代更新,,輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)而得到目標(biāo)6D位姿估計(jì)并進(jìn)行迭代改進(jìn),,從而實(shí)現(xiàn)目標(biāo)在動(dòng)態(tài)復(fù)雜場(chǎng)景下的位姿還原,克服了在光照,、姿態(tài)變化,、遮擋等不良因素環(huán)境下的目標(biāo)位姿不準(zhǔn)確問題,確保了目標(biāo)6D位姿估計(jì)的魯棒性與準(zhǔn)確性,。 3. 競(jìng)爭(zhēng)優(yōu)勢(shì)分析 與現(xiàn)有的同類技術(shù)相比,,本成果在深度重建的精細(xì)度、魯棒性,、一致性和準(zhǔn)確度上具有明顯優(yōu)勢(shì),,在物體檢測(cè)的準(zhǔn)確性、實(shí)時(shí)性具有明顯優(yōu)勢(shì),,在位姿估計(jì)中的旋轉(zhuǎn),、平移的解耦表示方法與自監(jiān)督框架,提高了位姿估計(jì)的準(zhǔn)確性與實(shí)時(shí)性,,并解決了對(duì)大量帶位姿標(biāo)注的真實(shí)數(shù)據(jù)的依賴,。從而有效實(shí)現(xiàn)現(xiàn)實(shí)場(chǎng)景模型的數(shù)字化生成與虛擬場(chǎng)景下的模型驅(qū)動(dòng)映射。 4. 市場(chǎng)應(yīng)用前景 本項(xiàng)成果應(yīng)用領(lǐng)域多元,,主力聚焦于元宇宙,、數(shù)字城市、自動(dòng)駕駛,、AR/VR,、機(jī)器人,、制造業(yè)等大量依賴三維數(shù)據(jù)生成、識(shí)別,、檢測(cè),、位姿估計(jì)與驅(qū)動(dòng)應(yīng)用的行業(yè)。 5. 發(fā)展規(guī)劃 隨著元宇宙,、數(shù)字城市,、自動(dòng)駕駛、AR/VR,、機(jī)器人,、制造業(yè)等概念的興起,行業(yè)生態(tài)即將進(jìn)入爆發(fā)期,。團(tuán)隊(duì)擬通過技術(shù)許可方式,,與多個(gè)領(lǐng)域有需求的企業(yè)開展合作,,形成一系列獨(dú)創(chuàng)的關(guān)鍵技術(shù),,產(chǎn)生顯著的經(jīng)濟(jì)和社會(huì)效益。 6. 知識(shí)產(chǎn)權(quán)情況 已申請(qǐng)相關(guān)發(fā)明專利3項(xiàng),,獲得授權(quán)1項(xiàng),。
三、合作需求 尋求在元宇宙,、數(shù)字城市,、自動(dòng)駕駛、AR/VR,、機(jī)器人,、制造業(yè)等領(lǐng)域有相關(guān)技術(shù)開發(fā)、市場(chǎng)推廣經(jīng)驗(yàn),,能推廣本技術(shù)落地的高科技企業(yè),,可以進(jìn)行深度合作。