Email:[email protected]
其中,,MPEG-H 3D Audio可以提供沉浸式和個(gè)性化音頻服務(wù),而MPEG-I是為虛擬和增強(qiáng)現(xiàn)實(shí)應(yīng)用程序開(kāi)發(fā)的全新標(biāo)準(zhǔn),,以提供更自然,、逼真的VR體驗(yàn)。相比 MPEG-H,,MPEG-I能夠提供更優(yōu)秀的互動(dòng)性和沉浸感,,并將支持6DOF,用戶可以在虛擬空間內(nèi)移動(dòng),,并與虛擬空間物品進(jìn)行交互,。3GPP 沉浸式語(yǔ)音及音頻服務(wù)(IVAS)已于2017年立項(xiàng),從版本15開(kāi)始已經(jīng)演進(jìn)到版本18,,其中包括VR流媒體服務(wù),、沉浸式語(yǔ)音及音頻編碼、提升VR用戶體驗(yàn),、邊緣計(jì)算,、場(chǎng)景探索、觸覺(jué)和媒體服務(wù),,SA4沉浸式多媒體類型和內(nèi)容格式,,XR相關(guān)業(yè)務(wù),,QoS、QoE指標(biāo)等,。國(guó)內(nèi),,AVS工作組從2016年起,開(kāi)始對(duì)三維聲和互動(dòng)式音頻開(kāi)展研討和技術(shù)征集,,2018年發(fā)布GB/T 33475.2《信息技術(shù) 高效多媒體編碼 第3部分:音頻》,,支持三維聲音頻編碼;2021年立項(xiàng)國(guó)家標(biāo)準(zhǔn)計(jì)劃《信息技術(shù) 虛擬現(xiàn)實(shí)內(nèi)容表達(dá) 第3部分:音頻》,,規(guī)定了虛擬現(xiàn)實(shí)設(shè)備及相關(guān)系統(tǒng)中的沉浸式音頻內(nèi)容的表達(dá)方式,,提出了包括元數(shù)據(jù)和渲染器的系統(tǒng)構(gòu)架及接口規(guī)范,適用于全景音頻錄播,、沉浸式音頻通信,、虛擬現(xiàn)實(shí)音頻交互等領(lǐng)域的音頻采集、傳輸,、回放系統(tǒng),;2022年,世界超高清產(chǎn)業(yè)聯(lián)盟(UWA)聯(lián)合AVS工作組,,共同制定面向三維聲音頻編碼的自主編碼標(biāo)準(zhǔn),,聯(lián)合發(fā)布T/UWA 009.1—2022年《三維聲音技術(shù)規(guī)范 第1部分:編碼分發(fā)與呈現(xiàn)》和T/AI 109.3—2023《信息技術(shù) 智能媒體編碼 第 3 部分:沉浸式音頻》,即三維菁彩聲Audio Vivid/AVS3P3音頻標(biāo)準(zhǔn),。三維菁彩聲(Audio Vivid)針對(duì)不同的信號(hào)類型采用不同的技術(shù)工具對(duì)輸入信號(hào)進(jìn)行編解碼,。采用多聲道編碼技術(shù)去除多聲道信號(hào)間的信息冗余。采用HOA空間編碼技術(shù)去除HOA各聲道信號(hào)間的空間幾何信息冗余,。采用基于心理聲學(xué)模型的預(yù)處理和基于AI的量化,,熵編碼技術(shù)去除單聲道、對(duì)象音頻信號(hào)中的信息冗余,。通過(guò)揚(yáng)聲器或耳機(jī)完成最終渲染輸出,。
接口協(xié)議
1
概述
隨著虛擬現(xiàn)實(shí)產(chǎn)業(yè)的蓬勃發(fā)展與廣泛應(yīng)用,設(shè)備與設(shè)備之間,、軟件與設(shè)備之間的數(shù)據(jù)交互越來(lái)越被建設(shè)者和使用者所重視,,從而構(gòu)建一套標(biāo)準(zhǔn)的數(shù)據(jù)傳輸協(xié)議規(guī)范在虛擬現(xiàn)實(shí)設(shè)備、軟件和平臺(tái)之間得到了廣泛關(guān)注,。通過(guò)這些接口協(xié)議,,不同廠商、不同技術(shù)的虛擬現(xiàn)實(shí)設(shè)備和軟件之間可以互相通信,,并為開(kāi)發(fā)者構(gòu)建跨平臺(tái)的虛擬現(xiàn)實(shí)應(yīng)用內(nèi)容提供數(shù)據(jù)傳輸基礎(chǔ)支撐,。
國(guó)外已經(jīng)在虛擬現(xiàn)實(shí)接口協(xié)議的標(biāo)準(zhǔn)化方面積累了一定經(jīng)驗(yàn),其中OpenXR作為一個(gè)開(kāi)放標(biāo)準(zhǔn)受到了全球范圍內(nèi)的廣泛關(guān)注和采用,,為不同廠商的虛擬現(xiàn)實(shí)設(shè)備提供了互操作性。