超高清視音頻技術是元宇宙的底層基礎技術之一，元宇宙的應用離不開超高清視音頻技術的支撐，這既給超高清視音頻技術帶來新的挑戰(zhàn)，也將推動超高清視音頻技術發(fā)展進入新的階段。

2023年3月30日，由中國移動咪咕公司聯(lián)合中國移動研究院、中興通訊股份有限公司牽頭，共24家單位共計61位專家參與編制的世界超高清視頻產(chǎn)業(yè)聯(lián)盟（UWA聯(lián)盟）《元宇宙時代超高清視音頻技術白皮書》在第十屆中國網(wǎng)絡視聽大會上發(fā)布。UWA聯(lián)盟秘書長張文剛在會上對白皮書進行了解讀。

元宇宙的時代背景

元宇宙作為信息技術革命的未來圖景，是網(wǎng)絡強國和數(shù)字中國拼圖的重要板塊，也必然是實現(xiàn)中國式現(xiàn)代化，推動構建人類命運共同體，創(chuàng)造人類文明新形態(tài)的物質基礎。元宇宙是技術聚合體、產(chǎn)業(yè)聚合體和生態(tài)聚合體，其背后是實實在在的技術集群、產(chǎn)業(yè)集群和用戶需求。

元宇宙將觸發(fā)超高清視音頻用戶體驗增量躍遷與技術產(chǎn)業(yè)持續(xù)演進。當前大眾對美好生活的進階需求對數(shù)字內容的體驗方式提出了新要求，分辨率、高動態(tài)范圍等視聽質量維度的常規(guī)迭代難以帶來用戶體驗的增量躍升。在元宇宙概念下，超高清數(shù)字內容既需要做到讓大眾有明顯感知，又能引領生活方式變革與產(chǎn)業(yè)結構創(chuàng)新，現(xiàn)實時空與數(shù)字時空不再彼此分割，在虛實融合的互聯(lián)時空下，未來超高清視音頻生態(tài)的構建有賴于傳統(tǒng)視音頻向沉浸式、交互性與多維化方向發(fā)展演進。

元宇宙時代超高清視音頻技術新需求

從零售、泛娛樂、文旅游戲、社交、教育、政務、工業(yè)等元宇宙典型場景入手分析，為滿足視覺、聽覺以及觸覺方面的體驗要求，對超高清視音頻技術在沉浸式視聽體驗、實時多維互動、高效內容生產(chǎn)和用戶大規(guī)模在線等四個方面都有新的需求：

一、沉浸式視聽體驗：傳統(tǒng)二維視音頻升級勢在必行。從內容生產(chǎn)、高效編碼，到沉浸式影像的傳輸與呈現(xiàn)等方面技術演進，實現(xiàn)虛擬與現(xiàn)實融合的沉浸式體驗；

二、實時多維互動：元宇宙還需要強交互，這對交互的自由度、實時性及多模態(tài)等方面提出了更高的要求；

三、高效內容生產(chǎn)：元宇宙時空構建，需要大量的內容，這就需要提升現(xiàn)有的內容生產(chǎn)效率。

實時及大規(guī)模用戶名在線：元宇宙的場景中大規(guī)模的用戶可同時在線并進行實時互動，這對視音頻的處理、通信、呈現(xiàn)等實時性、兼容性有較高的要求。

未來超高清視音頻生態(tài)的構建有賴于傳統(tǒng)視音頻向沉浸式、交互性與多維化的方向發(fā)展演進。

元宇宙時代超高清視音頻核心關鍵技術

視音頻技術是元宇宙產(chǎn)業(yè)應用的基石，其發(fā)展需要在單點技術的發(fā)展基礎上，融合多種關聯(lián)技術，形成針對橫向技術棧的端到端解決方案，實現(xiàn)元宇宙時代視音頻技術的有效連接和共同發(fā)展。白皮書給出了面向元宇宙時代的超高清視音頻技術體系，基于元宇宙時代的技術需求面向超高清的端到端流程，詳細分析了包括內容生成、內容編碼、網(wǎng)絡傳輸、內容解碼、交互與呈現(xiàn)、用戶體驗及版權保護各個模塊面向元宇宙時代關鍵技術升級和前沿研究。以內容生成為例，其中內容采集環(huán)節(jié)涵蓋了最先進的面向元宇宙場景的數(shù)字人、場地、三維聲等采集技術；內容制作環(huán)節(jié)則包括了具有三維立體和實時交互的特性視音頻內容制作，例如支持6Dof交互的如點云視頻制作、光場視頻制作等前沿技術；模型制作，包括3D人和物的建模、模型驅動、實時渲染等，都是面向元宇宙時代的新技術發(fā)展方向。研究探討視音頻關鍵技術簇，對于提升元宇宙的視聽體驗，具有重要的技術支撐作用。

元宇宙時代超高清視音頻技術標準體系

元宇宙時代視音頻技術涉及非常豐富的業(yè)務應用場景，視音頻技術作為元宇宙的基礎技術，不同的場景有視音頻相關的新技術需求。根據(jù)本白皮書中分析的元宇宙時代超高清視音頻技術現(xiàn)狀及發(fā)展趨勢，從視音頻采集、制作、傳輸、呈現(xiàn)、應用等各環(huán)節(jié)分析當前國內外的標準化現(xiàn)狀，提取出標準化需求，針對包括基礎通用、內容生成、媒體傳輸與處理、交互呈現(xiàn)、行業(yè)應用五個方面，給出了元宇宙時代超高清視音頻技術體系框架和標準化建議，為未來的標準化工作指引方向。

元宇宙的本質是建構原生于物理時空且與之交融的數(shù)字時空，時空的構建離不開超高清視音頻技術的進一步發(fā)展?！对钪鏁r代超高清視音頻技術白皮書》是超高清視音頻領域面向元宇宙時代的首個技術白皮書，旨在探索超高清視音頻技術的元宇宙發(fā)展方向，從面向元宇宙場景的超高清視音頻技術需求出發(fā)，分析了元宇宙時代端到端超高清視音頻相關的關鍵技術及發(fā)展趨勢，并針對元宇宙下的超高清視音頻技術提出了標準化體系建議，這將推動超高清視音頻產(chǎn)業(yè)更好更快的發(fā)展，助力數(shù)字經(jīng)濟蓬勃發(fā)展。