Email:[email protected]
一,、所屬領(lǐng)域
人工智能,、圖像處理,、三維重建技術(shù)領(lǐng)域
二、項目介紹 1. 痛點問題 本項預期成果是解決復雜場景中目標三維數(shù)據(jù)重建,、驅(qū)動的關(guān)鍵技術(shù),。 針對實際應用中復雜運動場景,例如剛性運動的交通工具,,變形移動行人等,,傳統(tǒng)的運動結(jié)構(gòu)恢復方法在進行場景深度求解時無法確定每個單元結(jié)構(gòu)的相對尺度,導致無法對復雜運動場景進行重建,。在現(xiàn)有的深度估計,、語義分割、位姿估計等相關(guān)技術(shù),,存在識別精度低,、提取不到關(guān)鍵信息、應用場景單一等問題,,無法滿足大尺度場景應用的需求,。 2. 解決方案 本項目成果提出了一套面向目標,、人體深度數(shù)據(jù)重建技術(shù),有效實現(xiàn)對復雜運動場景下人,、物的深度重建與驅(qū)動,,有效解決現(xiàn)實場景目標的數(shù)字化模型生成與虛擬場景下的驅(qū)動映射問題。提出多模態(tài)采集,、時空復用編碼攝像方法,,獲取大景深、高時空分辨,、豐富的精確場景視覺信息,,基于超像素關(guān)系分析的深度重建方法,包括目標超像素分割,,圖像幀匹配,,運動關(guān)系判定,通過時序傳播與概率模型更新實現(xiàn)實時深度重建,,提高最終三維重建模型的稠密度,、魯棒性、一致性和準確度,。構(gòu)建了基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標實例檢測與位姿估計框架,,從目標對象觀測圖片提取其分割掩碼并不斷迭代更新,輸入深度卷積神經(jīng)網(wǎng)絡(luò)進而得到目標6D位姿估計并進行迭代改進,,從而實現(xiàn)目標在動態(tài)復雜場景下的位姿還原,,克服了在光照、姿態(tài)變化,、遮擋等不良因素環(huán)境下的目標位姿不準確問題,確保了目標6D位姿估計的魯棒性與準確性,。 3. 競爭優(yōu)勢分析 與現(xiàn)有的同類技術(shù)相比,,本成果在深度重建的精細度、魯棒性,、一致性和準確度上具有明顯優(yōu)勢,,在物體檢測的準確性、實時性具有明顯優(yōu)勢,,在位姿估計中的旋轉(zhuǎn),、平移的解耦表示方法與自監(jiān)督框架,提高了位姿估計的準確性與實時性,,并解決了對大量帶位姿標注的真實數(shù)據(jù)的依賴,。從而有效實現(xiàn)現(xiàn)實場景模型的數(shù)字化生成與虛擬場景下的模型驅(qū)動映射。 4. 市場應用前景 本項成果應用領(lǐng)域多元,,主力聚焦于元宇宙,、數(shù)字城市、自動駕駛、AR/VR,、機器人,、制造業(yè)等大量依賴三維數(shù)據(jù)生成、識別,、檢測,、位姿估計與驅(qū)動應用的行業(yè)。 5. 發(fā)展規(guī)劃 隨著元宇宙,、數(shù)字城市,、自動駕駛、AR/VR,、機器人,、制造業(yè)等概念的興起,行業(yè)生態(tài)即將進入爆發(fā)期,。團隊擬通過技術(shù)許可方式,,與多個領(lǐng)域有需求的企業(yè)開展合作,形成一系列獨創(chuàng)的關(guān)鍵技術(shù),,產(chǎn)生顯著的經(jīng)濟和社會效益,。 6. 知識產(chǎn)權(quán)情況 已申請相關(guān)發(fā)明專利3項,獲得授權(quán)1項,。
三,、合作需求 尋求在元宇宙、數(shù)字城市,、自動駕駛,、AR/VR、機器人,、制造業(yè)等領(lǐng)域有相關(guān)技術(shù)開發(fā),、市場推廣經(jīng)驗,能推廣本技術(shù)落地的高科技企業(yè),,可以進行深度合作,。
四、團隊介紹 季向陽,,清華大學自動化系教授,,博導,國家杰出青年科學基金獲得者,,國家“萬人計劃”領(lǐng)軍人才,。主要從事視覺信息獲取與處理、計算機視覺,、機器學習等方面的研究,,先后承擔科技部“新一代人工智能”重大專項,、國家自然科學基金儀器項目等,近年來發(fā)表高水平學術(shù)論文100余篇,,獲授權(quán)發(fā)明專利60余項,,曾獲2019年國家科技進步二等獎(第一完成人),2010年國家科技進步二等獎(第二完成人),。
五,、聯(lián)系方式 E-mail:[email protected] 成果編號:2022087