第二届“一带一路”文化和科技融合发展大会嘉宾发言摘登 || 丁刚毅

新闻

作者：微信文章




数字表演与元宇宙仿真应用实践



北京理工大学计算机学院教授 丁刚毅

一、数字表演与仿真学科建设

数字表演与创意仿真作为北京市重点交叉学科，自 2008 年起步，期间得到高精尖学科建设任务支持，历经十余年发展，已构建起涵盖计算机、设计、光学等三个一级学科的完整学科体系，致力于培养数字表演专业人才。从两次国庆庆典、两次奥运会，到建党百年庆典、春晚等重大活动，始终围绕实践需求，开展学术研究与人才培养工作。

在人才培养方面，成功建立交叉学科硕士、博士点，打造文化与艺术交叉教学体系，培育高层次人才。学科团队参与 100 多项国家项目，为重大活动提供服务保障，积极开展国际交流与北京市属学校合作。在学科建设过程中，研究生们表现优异，获得七项“互联网+”和“挑战杯”金奖，充分证明人才培养成效显著。今年暑期，交叉学科学生开题题目紧跟智能技术前沿，展现出学科活力与创新潜力。

目前，团队正聚焦于大模型数据集与智能体研发工作。从十几年工程实践中提炼可供大模型使用的数据集，此项工作虽艰难，但已正式启动。开展生成算法、交互与评估研究，以两个数字表演专业学生的开题题目为例，一是“大模型驱动的结构化场景生成技术”，二是“数字表演创意生成和评估智能体”。智能体方法将算法与服务对象紧密结合，辅助人类工作，通过智能体方式，可实现快速转换、生成与评估，为数字表演领域带来全新变革。



二、冬奥会项目成果与平台建设

冬奥会元宇宙相关项目自 2022 年 4 月起开展，于去年年底顺利验收。该项目由十家单位联合完成，包括传媒大学、东方演艺集团等，共同打造冬奥会四场演出的创作、编排、演出一体化平台。该平台集成灯光、机械、道具、舞美、音乐、视频等十余个演出要素，实现全流程、全要素、全方位仿真设计与计算任务，涵盖训练、彩排和仿真预演系统。

在构建理论方法过程中，将多年大型活动、表演经验与智能方法融合，于 2022 年 2 月至 3 月冬奥会四场演出中得到充分应用。协助导演生成上百个表演和排练方案，保障全流程工作顺利进行。16K 地屏渲染及应急渲染平台采用国产化显卡，快速高效完成任务，为创意质量、速度和可行性提供有力保障。立春节目中，393 名演员手持八米长杆，从动作到音乐、地屏视频配合，均在仿真系统中设计实现。该项目成果入选科技冬奥成果选编，专家组验收时给出 93 分高分评价，认为项目取得表演创意描述体系、一体化仿真控制方法、大型表演行为建模方法等成果，成功研制一体化平台，为大型活动数字表演领域树立了新标杆。在过去的半年时间里，团队在鸟巢中全程参与并协助导演完成了四场大型演出，取得了出色的成果。

目前，团队的研究方向集中在人群建模、智能表演仿真、多维系统仿真以及元宇宙的实时仿真技术领域，已经在虚拟内容生成、虚实交互和多维认知等方面取得了显著突破。在民用领域，相关成果反馈良好，形成了完整的闭环流程。而在军用领域的探索较少，但仍然具有潜在发展空间。

三、元宇宙项目组织管理与工作成果

在元宇宙领域的组织管理工作方面，团队取得了阶段性成果。2022 年 4 月，仿真学会成立了元宇宙专业委员会；2022 年在北京，2023 年在上海，2024 年 11 月在武汉举办了三届世界元宇宙大会，并发布了两本蓝皮书。元宇宙的研究和实践已涵盖文化、教育、军事、应急和绿色发展等领域。与此同时，仿真学科成功被列入交叉学科第十四大门类，标志着元宇宙技术与学科建设迈入新的发展阶段。

自 2022 年以来，工信部及各地政府相继出台多项元宇宙相关政策。2023 年 9 月，工信部发布了“元宇宙产业创新三年行动计划”，明确将工业元宇宙作为核心目标，并将其定义为“未来产业”。要求元宇宙技术在“十五五”规划期间初步实现成果落地，并与脑机接口、人形机器人、生成式人工智能及量子计算等技术相结合，推动 AI 技术与实体产业的深度融合。

在 AI 应用方面，目前的实践集中在两个方向，一是开发智能助手，提升用户体验，实现快速响应和高效支持；二是构建无人系统，使其具备学习和协作能力，能够执行自主任务。此外，AI 在内容创作和智能评估领域也在持续探索。为推动工业元宇宙的发展，工信部提出要将元宇宙技术与生产线、工厂和园区深度结合，助力产业升级。这一系列举措将与文旅部和国资委等多部门共同推动。

2024 年 6 月，工信部科技司公布了元宇宙领域的核心技术成果，共有 67 项核心技术、186 项重点产品，总计 240 余项任务需要在“十五五”期间实现产业化应用。其中，团队参与了两项关键项目：一是基于 Linux 内核和开源鸿蒙系统的扩展现实系统开发；二是研发实时三维引擎。

2024 年 1 月，工信部明确了未来产业的重点方向，包括未来制造、未来信息、未来材料、未来能源、未来空间、未来健康等多个领域。所有这些创新探索都需要体系化的技术支撑，而元宇宙技术已被视为其中的核心要素。团队将在这一背景下，持续推动元宇宙技术的发展和实践，为产业化落地提供更全面的技术支持和解决方案。

四、元宇宙技术的发展和实践

元宇宙的定义近年来逐步明晰，可以从三个主要角度加以理解：一是网络维度，随着 6G 技术的到来，网络基础设施的升级将推动元宇宙的进一步发展，从 5G 向 6G 的过渡，不仅仅是速度的提升，更是对三维内容生成与传播的技术支持，这种网络能力的增强为构建元宇宙空间提供了关键保障。二是交互维度，涉及到头戴式设备、人与机器的交互模式以及智能代理技术的发展。三是虚拟世界维度，元宇宙的核心是一种高度仿真的虚拟世界，这个世界不仅更完备、多维且多样化，同时也依赖于网络技术和交互技术的支持。其特征在于实时性、全要素交互和多价值体现，这些特性区别于传统系统，是元宇宙发展的技术核心。从本质上讲，元宇宙需要构建与现实世界平行且可演化的空间。这种复杂性带来了实时性、演化性和认知性三大特征，而这些特征既体现了其技术优势的一面，也反映了其研发和应用过程中的挑战。

当前 AI 技术的进展，特别是在智能化领域，有以下几方面的显著特点，一是语言智能。语言智能基于符号、神经网络及贝叶斯原理，可通过对海量数据的训练展现出超强的语言处理能力，尽管语言智能的效率和覆盖范围远超人类，但其核心依然是对已有语料的提取和模仿，未能真正反映复杂现实。二是具身智能。具身智能集中于行为级交互，尤其是在视觉特征与知识学习上的表现，其核心价值在于机器人或系统能够理解并模仿人类行为，从而实现有效协作，然而，当具身智能的研发过于追求商业化目标时，往往会忽略其本质——提升智能学习与应用能力。三是空间智能。空间智能主要关注在超越人类感知范围的场景中，例如航空、交通和城市规划等领域的智能化应用，其目标是通过空间规划与预测能力的提升，赋予系统更高的自主性与决策能力。

智能的发展经历了自然智能、计算智能和数据智能的演化历程。自然智能来源于人类大脑在数百万年演化中的积累，而计算智能的出现标志着技术工具的介入，使数据的获取和分析方式大幅改变。当前的数据智能依赖于庞大的数据规模和复杂的计算模型，尽管 AI 展现出强大的潜力，但其发展尚处于初期阶段。

从宇宙视角来看，人类感知的世界可以分为三个层面：实体世界、数字世界和虚拟世界。元宇宙的发展正逐步模糊这些边界，通过网络、交互和智能技术的深度融合，将虚拟与现实紧密相连。在这一过程中，算力、带宽及数据资源的合理分配成为关键挑战。未来的元宇宙不仅是技术集成的体现，更是对人类认知与智能的新探索，其最终目标是实现与现实世界相辅相成、互相促进的演化空间。

元宇宙的核心在于将实体世界、数字世界和虚拟世界有机整合。数字世界并非完全掌握在个人手中，而是分布于三大互联网平台、三大运营商的系统，或者某些重点服务器与科学实验室中。然而，仅依靠实体世界与数字世界的现有优势难以完全解决问题，尤其在计算能力与解释能力方面仍存在不足。因此，虚拟世界的引入成为必要，用以辅助构建协同支持、未来预测和智能化决策的框架系统。

元宇宙的概念并非快速形成一个 24 小时盈利的虚拟经济体，而是在数字与网络技术的基础上，通过虚拟化中间环节——中间虚拟化，为智能化决策和复杂问题的解决提供支持。这种架构强调实时性和多要素的协作性，使得智能系统更具综合性和适用性。

虚拟世界的构建可分为以下三种主要形态，一是景象式刻画，是一种视觉呈现，模仿现实场景的方式，但仅适用于低价值、高成本的简单应用场景，其重点在于还原现实中的视效，但全面渲染并非必要，过度的视觉信息不仅无益，甚至可能过载。二是抽象世界，以文字、符号和逻辑为基础，是解决现实问题的一种精炼表达方式，它跳过了像素级的细节模拟，更关注系统性和概念性的表达方法。三是创造世界，允许自由建构，例如游戏场景中的自主创作模式，这种形态强调用户的创造力与自由度，与景象式和抽象世界形成互补。

上述三种形态并存于元宇宙之中，而非单一依赖于实时渲染技术。尽管当前算力尚有不足，互操作性以及虚实互联的能力仍需进一步发展，但这些技术构成了虚拟世界未来发展的关键方向。

数字孪生的概念在元宇宙中被广泛讨论，但实际应用中存在许多误用。孪生的本质是从基因到行为的高度相似性，类似于同卵双胞胎的关系。然而，数字孪生要求在计算机中构建一个对应于物理实体的虚拟模型，并能精确映射所有核心要素。

虽然在产品制造中，数字孪生的应用已经展现出显著价值，但在复杂系统（如城市交通、水文环境、战场环境）中应用时，其准确性和操作性往往难以满足要求。原因在于真实系统的复杂性和动态性难以完全捕捉和模拟。元宇宙需要在认知层面达到足够的相似性，以满足实际需求，而非追求绝对的完全一致性。

元宇宙并非单一技术或内容，而是集成内容、技术和场景的复杂人造系统。其功能更多在于提供参考支持，而非取代所有现实功能。其发展需要基于云边端架构，以确保算力与网络的可行性。

在这一过程中，高仿真技术尤为重要。通过实现虚实交互和数字孪生的互操作性，可以加速相似性较高的重复性任务的处理效率，进而提升系统的综合性能。元宇宙的目标是通过协同整合，推动实体、数字与虚拟世界的深度融合，助力复杂问题的解决和未来场景的智能化发展。

实现虚实交互的关键在于认知多维性和价值多维性的结合，同时降低系统成本，使其可持续发展。大模型训练的高能耗问题表明，仅依靠少数企业或投资者的投入无法满足社会需求，而元宇宙的复杂性与软件系统类似，需依赖用户的实际使用与优化，而非简单地由开发商提供成品。这种架构探索已经在多个场景中展开，尤其在交互性、实时性和动态演化方面取得了显著进展。

元宇宙的实现高度依赖“云边端”架构，这一体系在网络通信、算力分布及服务对象接触等层面具有多重含义，一是网络通信机制，在云端提供统一的数据共享与高效分发。二是算力与数据分布，通过云、边缘节点和终端设备实现算力资源的合理配置与灵活分布。三是服务对象接触，根据实际需求调整服务范围，例如战场环境中，前端士兵依赖终端设备，而指挥系统则由云端提供支持。

这一架构在多节点间的交互能力至关重要，尤其是在无人平台等复杂应用场景中，需要具备自主演化与任务执行的能力。目前，云边端架构的安全性、可靠性和柔性优化已经达到一定成熟度，并依托国产化技术平台实现大数据批量供应的技术支撑。

2022 年 6 月，基于云架构的三维实时交互场景在中央广播电视总台三星堆相关项目中得到应用。通过阿里云的 5000 台服务器，理论上支持百万人次参与，实际验证中，实现了 3 万用户同时在线的互动体验，但由于网络限制，对语音和留言功能进行了简化。

挑战杯实践项目进一步验证了元宇宙的云边架构能力，结合阿里云和天翼云，实现了 10 万人同时在线。在这一过程中，构建了物理校园的数字孪生环境和虚拟赛场场景，连接了历史与未来，突破了时空限制。最终，该项目以 108 万人次的参与规模获得了吉尼斯纪录，展示了三维渲染与浏览技术的潜力。

当前元宇宙系统的优化重点在于分级交互设计与算力分配。分级交互设计的目标是通过优化计算架构，实现 1000 张 GPU 卡支持 10000 路三维实时渲染输出，并为 AI 计算任务释放更多算力。算力任务优化指未来的 GPU 将承担物理解算、AI 辅助计算和渲染任务，通过任务分配的智能优化，降低计算成本并提升系统运行效率。这一优化方向正在为未来的重大项目提供支持，包括 2025 年春晚、广州亚运会开闭幕式及其他大型活动。元宇宙架构的不断完善，正逐步为大规模虚实交互与智能场景提供全面技术支撑。


活动现场
END







一带一路·共赢未来

中 心 简 介

      丝路规划研究中心是全国政协办公厅业务主管、民政部注册登记的专业性、应用型智库。中心致力于开展“一带一路” 相关重大问题研究、规划推动等工作，是依托专家委员、服务“一带一路”倡议的战略融智平台。