Email:[email protected]
一,、所屬領(lǐng)域
人工智能,、圖像處理,、三維重建技術(shù)領(lǐng)域
二、項目介紹 1. 痛點問題 本項預(yù)期成果是解決復(fù)雜場景中目標(biāo)三維數(shù)據(jù)重建,、驅(qū)動的關(guān)鍵技術(shù)。 針對實際應(yīng)用中復(fù)雜運動場景,,例如剛性運動的交通工具,,變形移動行人等,傳統(tǒng)的運動結(jié)構(gòu)恢復(fù)方法在進(jìn)行場景深度求解時無法確定每個單元結(jié)構(gòu)的相對尺度,,導(dǎo)致無法對復(fù)雜運動場景進(jìn)行重建,。在現(xiàn)有的深度估計、語義分割,、位姿估計等相關(guān)技術(shù),,存在識別精度低、提取不到關(guān)鍵信息,、應(yīng)用場景單一等問題,,無法滿足大尺度場景應(yīng)用的需求。 2. 解決方案 本項目成果提出了一套面向目標(biāo),、人體深度數(shù)據(jù)重建技術(shù),,有效實現(xiàn)對復(fù)雜運動場景下人、物的深度重建與驅(qū)動,,有效解決現(xiàn)實場景目標(biāo)的數(shù)字化模型生成與虛擬場景下的驅(qū)動映射問題,。提出多模態(tài)采集、時空復(fù)用編碼攝像方法,,獲取大景深,、高時空分辨、豐富的精確場景視覺信息,,基于超像素關(guān)系分析的深度重建方法,,包括目標(biāo)超像素分割,圖像幀匹配,,運動關(guān)系判定,,通過時序傳播與概率模型更新實現(xiàn)實時深度重建,提高最終三維重建模型的稠密度、魯棒性,、一致性和準(zhǔn)確度,。構(gòu)建了基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)實例檢測與位姿估計框架,從目標(biāo)對象觀測圖片提取其分割掩碼并不斷迭代更新,,輸入深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)而得到目標(biāo)6D位姿估計并進(jìn)行迭代改進(jìn),,從而實現(xiàn)目標(biāo)在動態(tài)復(fù)雜場景下的位姿還原,克服了在光照,、姿態(tài)變化,、遮擋等不良因素環(huán)境下的目標(biāo)位姿不準(zhǔn)確問題,確保了目標(biāo)6D位姿估計的魯棒性與準(zhǔn)確性,。 3. 競爭優(yōu)勢分析 與現(xiàn)有的同類技術(shù)相比,,本成果在深度重建的精細(xì)度、魯棒性,、一致性和準(zhǔn)確度上具有明顯優(yōu)勢,,在物體檢測的準(zhǔn)確性、實時性具有明顯優(yōu)勢,,在位姿估計中的旋轉(zhuǎn),、平移的解耦表示方法與自監(jiān)督框架,提高了位姿估計的準(zhǔn)確性與實時性,,并解決了對大量帶位姿標(biāo)注的真實數(shù)據(jù)的依賴,。從而有效實現(xiàn)現(xiàn)實場景模型的數(shù)字化生成與虛擬場景下的模型驅(qū)動映射。 4. 市場應(yīng)用前景 本項成果應(yīng)用領(lǐng)域多元,,主力聚焦于元宇宙,、數(shù)字城市、自動駕駛,、AR/VR,、機器人、制造業(yè)等大量依賴三維數(shù)據(jù)生成,、識別,、檢測、位姿估計與驅(qū)動應(yīng)用的行業(yè),。 5. 發(fā)展規(guī)劃 隨著元宇宙,、數(shù)字城市、自動駕駛,、AR/VR,、機器人、制造業(yè)等概念的興起,,行業(yè)生態(tài)即將進(jìn)入爆發(fā)期,。團隊擬通過技術(shù)許可方式,,與多個領(lǐng)域有需求的企業(yè)開展合作,形成一系列獨創(chuàng)的關(guān)鍵技術(shù),,產(chǎn)生顯著的經(jīng)濟和社會效益,。 6. 知識產(chǎn)權(quán)情況 已申請相關(guān)發(fā)明專利3項,獲得授權(quán)1項,。
三,、合作需求 尋求在元宇宙、數(shù)字城市,、自動駕駛,、AR/VR、機器人,、制造業(yè)等領(lǐng)域有相關(guān)技術(shù)開發(fā),、市場推廣經(jīng)驗,能推廣本技術(shù)落地的高科技企業(yè),,可以進(jìn)行深度合作,。