Email:[email protected]
一,、所屬領(lǐng)域
人工智能,、圖像處理,、三維重建技術(shù)領(lǐng)域
二,、項(xiàng)目介紹 1. 痛點(diǎn)問題 本項(xiàng)預(yù)期成果是解決復(fù)雜場景中目標(biāo)三維數(shù)據(jù)重建,、驅(qū)動(dòng)的關(guān)鍵技術(shù)。 針對(duì)實(shí)際應(yīng)用中復(fù)雜運(yùn)動(dòng)場景,,例如剛性運(yùn)動(dòng)的交通工具,,變形移動(dòng)行人等,傳統(tǒng)的運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)方法在進(jìn)行場景深度求解時(shí)無法確定每個(gè)單元結(jié)構(gòu)的相對(duì)尺度,,導(dǎo)致無法對(duì)復(fù)雜運(yùn)動(dòng)場景進(jìn)行重建。在現(xiàn)有的深度估計(jì),、語義分割,、位姿估計(jì)等相關(guān)技術(shù),存在識(shí)別精度低,、提取不到關(guān)鍵信息,、應(yīng)用場景單一等問題,無法滿足大尺度場景應(yīng)用的需求,。 2. 解決方案 本項(xiàng)目成果提出了一套面向目標(biāo),、人體深度數(shù)據(jù)重建技術(shù),,有效實(shí)現(xiàn)對(duì)復(fù)雜運(yùn)動(dòng)場景下人、物的深度重建與驅(qū)動(dòng),,有效解決現(xiàn)實(shí)場景目標(biāo)的數(shù)字化模型生成與虛擬場景下的驅(qū)動(dòng)映射問題,。提出多模態(tài)采集、時(shí)空復(fù)用編碼攝像方法,,獲取大景深,、高時(shí)空分辨、豐富的精確場景視覺信息,,基于超像素關(guān)系分析的深度重建方法,,包括目標(biāo)超像素分割,圖像幀匹配,,運(yùn)動(dòng)關(guān)系判定,,通過時(shí)序傳播與概率模型更新實(shí)現(xiàn)實(shí)時(shí)深度重建,提高最終三維重建模型的稠密度,、魯棒性,、一致性和準(zhǔn)確度。構(gòu)建了基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)實(shí)例檢測與位姿估計(jì)框架,,從目標(biāo)對(duì)象觀測圖片提取其分割掩碼并不斷迭代更新,,輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)而得到目標(biāo)6D位姿估計(jì)并進(jìn)行迭代改進(jìn),從而實(shí)現(xiàn)目標(biāo)在動(dòng)態(tài)復(fù)雜場景下的位姿還原,,克服了在光照,、姿態(tài)變化、遮擋等不良因素環(huán)境下的目標(biāo)位姿不準(zhǔn)確問題,,確保了目標(biāo)6D位姿估計(jì)的魯棒性與準(zhǔn)確性,。 3. 競爭優(yōu)勢(shì)分析 與現(xiàn)有的同類技術(shù)相比,本成果在深度重建的精細(xì)度,、魯棒性,、一致性和準(zhǔn)確度上具有明顯優(yōu)勢(shì),在物體檢測的準(zhǔn)確性,、實(shí)時(shí)性具有明顯優(yōu)勢(shì),,在位姿估計(jì)中的旋轉(zhuǎn)、平移的解耦表示方法與自監(jiān)督框架,,提高了位姿估計(jì)的準(zhǔn)確性與實(shí)時(shí)性,,并解決了對(duì)大量帶位姿標(biāo)注的真實(shí)數(shù)據(jù)的依賴。從而有效實(shí)現(xiàn)現(xiàn)實(shí)場景模型的數(shù)字化生成與虛擬場景下的模型驅(qū)動(dòng)映射,。 4. 市場應(yīng)用前景 本項(xiàng)成果應(yīng)用領(lǐng)域多元,,主力聚焦于元宇宙、數(shù)字城市、自動(dòng)駕駛,、AR/VR,、機(jī)器人、制造業(yè)等大量依賴三維數(shù)據(jù)生成,、識(shí)別,、檢測、位姿估計(jì)與驅(qū)動(dòng)應(yīng)用的行業(yè),。 5. 發(fā)展規(guī)劃 隨著元宇宙,、數(shù)字城市、自動(dòng)駕駛,、AR/VR,、機(jī)器人、制造業(yè)等概念的興起,,行業(yè)生態(tài)即將進(jìn)入爆發(fā)期,。團(tuán)隊(duì)擬通過技術(shù)許可方式,與多個(gè)領(lǐng)域有需求的企業(yè)開展合作,,形成一系列獨(dú)創(chuàng)的關(guān)鍵技術(shù),,產(chǎn)生顯著的經(jīng)濟(jì)和社會(huì)效益。 6. 知識(shí)產(chǎn)權(quán)情況 已申請(qǐng)相關(guān)發(fā)明專利3項(xiàng),,獲得授權(quán)1項(xiàng),。
三、合作需求 尋求在元宇宙,、數(shù)字城市,、自動(dòng)駕駛、AR/VR,、機(jī)器人,、制造業(yè)等領(lǐng)域有相關(guān)技術(shù)開發(fā)、市場推廣經(jīng)驗(yàn),,能推廣本技術(shù)落地的高科技企業(yè),,可以進(jìn)行深度合作。