元宇宙作为未来发展的一个重要方向,对我们的工作、娱乐、生活将产生深远的影响。元宇宙六大核心支撑技术为区块链技术、交互技术、建模渲染技术、人工智能技术、网络及运算技术、物联网技术,其中与视频相关的技术能力是最基础的原子能力,如通过人工智能技术驱动孪生数字人、互动视频的建模渲染与生成、端侧的业务呈现与操作等。
现实世界中人类获取信息80%以上来自于视频,而元宇宙业务是现实世界的孪生重建业务,视频同样是元宇宙业务最重要的信息承载体,其强交互、低时延、深沉浸、全智能、大数据量等视频业务新特性对系统的全程算力提出了非常高的要求。
中兴通讯视频算力网络赋能元宇宙多层级服务
元宇宙业务要保证用户实时沉浸、无卡顿流畅的交互体验,现有集中式云网中心的处理模式无法满足元宇宙业务的算力要求,特别是视频处理能力要求,因此视频算力网络需要分层级获取算力,逐层处理,分级服务。
中兴通讯视频算力网络解决方案,采用云边端一体化协同的体系架构,赋能元宇宙实现各种算力需求,包括低延迟、高带宽、强交互、实时渲染等。
方案支持多级能力的系统架构,支持对元宇宙终端算力的识别,以及统一调度分配算力。如当元宇宙空间模型较小,适合通过本地渲染实现时,处于元宇宙空间中的双人互动业务,可以直接建立点对点互动通道,配合终端的本地渲染能力,即可完成相应功能;而当空间复杂度高,要通过云渲染实现,且空间中接入人员来自多个地区/跨省/跨国等情况时,算力网络调度中心会选择合适的算网节点汇聚互动信息,再将互动信息同步到边缘节点,由边缘节点实现渲染后分发给终端进行呈现。
数字文博是元宇宙起步阶段的主要业务形态
业界普遍认为,2021年是元宇宙起步阶段,以单行业为基础,各自独立建设元宇宙空间,并形成分散化、多中心的小生态,其中AR、VR及沉浸式显示技术是当前阶段元宇宙的视频基础。“信息服务与文娱元宇宙”是本阶段的典型应用,其中文博行业是应用最广的一种服务形态。
2022年3月,来自全国50家博物馆、高校的60名馆长、学者联名发布《关于博物馆积极参与建构元宇宙的倡议》,呼吁博物馆顺应时代发展,发挥自身优势,积极参与建构元宇宙。
2022年国际博物馆日,国内外十大博物馆、图书馆旗舰店首次推出数字藏品,总计20款,总量达2.5万件,每一件藏品都拥有永久存证和唯一编号。文博从“静态”走向“活态”、从实物走向数字化,以碳基为介质的“数字藏品”让文物成为永恒。同时,在AR、VR等技术的支持下,用户可以在移动设备上随时随地、全方位地欣赏文物。
中兴通讯数字文博解决方案就在上述背景下应运而生。数字文博作为元宇宙在具体领域的应用入口,将对行业带来颠覆性的变革。其时空整合、目的地扩展和创作平权及其带来的新社交集合将重塑文博产业,创造更多可能性。
中兴通讯视频算力网络元宇宙数字文博解决方案
中兴通讯视频算力网络元宇宙数字文博解决方案,联合运营商、商业合作伙伴共同建设5G、云等基础设施,并提供6大能力平台,包括大视频平台、元宇宙引擎、VR空间构建平台、XR(Extended Reality)点云平台、AI算法平台AIE(AI Engine)以及中兴通讯云平台TECS(Tulip Elastic Cloud System),满足客户的多重业务需求。
中兴通讯视频算力网络元宇宙数字文博解决方案业务分层架构如图1所示。
图1 中兴通讯视频算力网络元宇宙数字文博解决方案业务分层架构
在元宇宙的功能方面,方案支持以下特性:
- 文博展厅的线上线下复刻(见图2)
复刻的线上VR展厅支持360°任意视角、展厅内互动沉浸式体验,让参观者如临现场;线下展厅内展示的图文、视频、PPT、3D模型等多种媒体内容在空间中原样展示;支持嘉宾线上独立参观和主持人导览模式,由真实主持人的分身上线,复刻讲解员导览参观模式。
- 丰富的展示手段
通过数字化手段,线上展厅可实现线下展厅无法达到的效果,各种多媒体内容均可方便地接入空间进行展示,不受物理限制,可快速上线新展示内容。
- 复刻虚拟人形象登录线上展厅
提供默认的人物形象,并支持导入个性化的人物形象。嘉宾可选择虚拟人形象和主持人互动、分享。支持主持人/演讲者功能,引导观众观看,可用于宣讲、发布会等各类活动。
在系统性能方面,中兴通讯元宇宙数字文博解决方案支持如下能力:
- 支持云渲染、终端渲染两种模式:在云渲染场景下,根据业务的属性确定渲染节点,支持中心节点渲染、区域中心渲染、边缘节点渲染等模式;支持能力的线性扩展,在线并发理论可达千万:根据业务性能要求(VR空间大小、呈现的模型面数、在线用户数等)与算力网络协同实现资源的动态调度,以支撑超高并发用户数。
- 提供多种CDN(Content Delivery Network)加速能力,保障用户的良好体验:本地渲染模式下,通过HTTP CDN加速能力,快速下发模型数据到终端;通过RTMP CDN加速能力,实现元宇宙空间中视频的快速低延迟分发;通过Websocket CDN实现跨域跨国场景下的互动消息;通过RTN CDN(Realtime Network CDN)实现空间内用户无延迟的感知互动。
图2 元宇宙文博展厅示意图
方案应用
中兴通讯联合大唐西市集团,共同探索元宇宙数字文博应用方案并进行试点,充分发挥了视频算力网络的优势,利用5G、XR、区块链等技术,进行文博数字化创新的探索。
项目目标主要包括:
- 文化资源数字化,为博物馆数字化展陈和互动化观展提供创新平台支撑;
- 数字资产确权并生成数字凭证,推动实施基于“大唐云”和“大唐链”的版权及艺术品交易和流通;
- 结合线上线下业务,为园区实体博物馆、景区、古玩城、西市城引流,拉动消费;
- 推动传播中国文化和一带一路建设成就,提升文化自信,建设文化强国。
本项目分多个阶段实施,截至2022年上半年,在文物大讲堂及文物传播新模式探索、元宇宙VR博物馆呈现、文物和艺术品展陈几方面均取得了良好进展。
- 文物大讲堂及文物传播新模式:利用系统端、终端的算力,大屏呈现超高清文物内容,视频叠加二维码,实现大小屏联动,允许用户扫码接入文物关联的元宇宙文物呈现空间,实现文物的720°沉浸式体验。
- 元宇宙VR博物馆呈现:终端侧使用超高性能的8K机顶盒进行呈现;对于性能不足的终端,系统端识别后,调用云渲染能力进行内容渲染后呈现。
- 商家/个人入驻元宇宙空间进行文物和艺术品展陈:通过虚拟的VR元宇宙博物馆,支持各类2D、3D的文物展览(见图3)。
文博数字化远不止于云展览,更重要的意义是对文化遗产的数字重生。借助视频算力网络,将进一步降低文博数字化的成本和技术门槛,加快文化遗产的数字化进程,助力文化遗产在数字空间的重生与永生。
图3 大唐西市VR元宇宙空间展馆