Email:[email protected]
Google也發(fā)布了開源庫(kù)Draco,,用于壓縮和解壓縮 3D 幾何網(wǎng)格和點(diǎn)云。
目前,,點(diǎn)云編碼主要分為兩種技術(shù)路線:基于視頻的點(diǎn)云編碼方法和基于幾何的點(diǎn)云編碼方法,。基于視頻的點(diǎn)云編碼基于視覺(jué)體積視頻編碼V3C的框架,,其方法主要涉及塊(Patch)劃分重組,、幾何和紋理圖像的生成、填充及編碼,、輔助劃分信息以及占位圖的編碼等新技術(shù),?;趲缀蔚狞c(diǎn)云編碼方法主要涉及八叉樹表征、屬性預(yù)處理,、屬性變換,、變換/預(yù)測(cè)、屬性量化,、屬性熵編碼等新技術(shù),。
未來(lái),點(diǎn)云編碼技術(shù)發(fā)展將圍繞下列方面展開:更高效的幾何表征方法及屬性預(yù)測(cè)技術(shù),、更靈活的編碼速度配置,,支持多種延遲場(chǎng)景,比如離線轉(zhuǎn)碼,、云游戲,、視頻直播、視頻會(huì)議等,,兼容各終端設(shè)備,,實(shí)現(xiàn)場(chǎng)景自適應(yīng),提高編碼速度(幀間并行加速,、預(yù)分析和后處理加速),,智能碼率控制等。
5)動(dòng)態(tài)3D網(wǎng)格編碼
3D網(wǎng)格已成為視覺(jué)沉浸媒體主要的數(shù)據(jù)格式之一,。一個(gè)3D網(wǎng)格由以下部分組成:拓?fù)湫畔?、幾何信息、映射信息,、頂點(diǎn)屬性,、屬性映射。上述五部分中,,若任一部分包含時(shí)變,,即為動(dòng)態(tài)網(wǎng)格。相較于靜態(tài)網(wǎng)格,,一個(gè)動(dòng)態(tài)網(wǎng)格序列的數(shù)據(jù)量更為龐大,,因?yàn)樗罅侩S時(shí)間變化的信息。ISO/IEC JTC 1/SC 29/WG7正在計(jì)劃開發(fā)一種新的3D網(wǎng)格壓縮標(biāo)準(zhǔn),,用以壓縮具有時(shí)變拓?fù)湫畔⒑涂蛇x時(shí)變屬性映射的動(dòng)態(tài)網(wǎng)格,。該標(biāo)準(zhǔn)面向各類應(yīng)用場(chǎng)景,如實(shí)時(shí)沉浸式通信,、自由視點(diǎn)視頻、AR和VR等,。SC 29/WG7計(jì)劃基于視覺(jué)體積視頻編碼(V3C)的框架進(jìn)行技術(shù)集成和擴(kuò)展,。目前,,國(guó)內(nèi)標(biāo)準(zhǔn)工作組暫未開設(shè)相關(guān)專題組。
未來(lái),,3D網(wǎng)格編碼技術(shù)的發(fā)展特點(diǎn)大致如下:支持靜態(tài)和動(dòng)態(tài)網(wǎng)格編碼,、支持有損和 無(wú)損壓縮、支持隨機(jī)訪問(wèn),、低延遲,、具有容錯(cuò)能力、支持并行編碼和解,。
音頻編碼
當(dāng)前,,音頻編碼技術(shù)正在向深度學(xué)習(xí)等人工智能技術(shù)相結(jié)合的方向發(fā)展,通過(guò)深度學(xué)習(xí)算法提高音頻編碼的壓縮碼率,,降低音頻編碼的復(fù)雜度,。同時(shí),為了滿足虛擬現(xiàn)實(shí)等應(yīng)用需求,,提供沉浸式和虛實(shí)融合的應(yīng)用體驗(yàn),,實(shí)現(xiàn)3DoF甚至6DoF的聲音感受,靈活適用各類場(chǎng)景,,從個(gè)性化音頻制作到基于場(chǎng)景的個(gè)性化渲染回放,,高質(zhì)量、低延遲,、自適應(yīng)可變速率,、定位準(zhǔn)確的三維聲編碼技術(shù)成為當(dāng)前音頻編碼技術(shù)的焦點(diǎn),國(guó)內(nèi)外均針對(duì)三維聲編解碼技術(shù)和標(biāo)準(zhǔn)開展了相布局和研究工作,。
國(guó)際上,,ISO/IEC JTC 1/SC 29下設(shè)WG6 “MPEG音頻組”制定了MPEG-H 3D Audio(ISO/IEC 23008-3)標(biāo)準(zhǔn),目前正在開展MPEG-I音頻編碼標(biāo)準(zhǔn)制定工作,。