原标题：腾讯探元计划TOP20代表系列访谈（五） 港科大（广州）创意智能协同实验室构建新型文旅体验

　　近年来，计算机图形学与虚拟现实、人工智能、大数据等前沿技术日益融入中华传统文化的传承与发展之中，这些技术的应用正在为传统文化的保存和创新提供新的动力和可能性。

　　然而，在推动文化的数字化转型过程中，我们面临了一系列挑战。这包括技术与应用场景之间的信息隔阂、沟通不畅，需求与解决方案难以精准对接，技术提供者的能力局限，以及技术应用和解决方案难以实现规模化推广等问题。这些挑战正成为行业迫切需要解决的关键问题。

　　瞄准这一点，腾讯探元计划搭建了一个“中华文化+科技创新”的平台，通过加速赋能，让技术更精准地找到场景。自2020年以来，腾讯探元计划已举办三届，成功选出并落地了多项优秀的技术项目。

　　其中，香港科技大学（广州）（以下简称“港科大广州”）创意智能协同实验室（以下简称“CIS Lab”）提出的中华文化交互沉浸式体验构建项目便是其中之一，该项目荣获了“腾讯探元计划2023”TOP20创新技术应用大奖。

　　港科大广州位于南沙开发区的科技创新板块，是大湾区优秀的文化科技创新主体，具有独特的师资产业优势与国际视野。值得一提的是，探元计划项目组也一直致力于将国内优秀的文化科技项目推广到海外，希望全球的优秀项目在探元计划的平台上进行碰撞，以此探索文化数字化的多样性与可能性。

　　近日，我们采访了港科大广州助理教授、CIS Lab负责人王泽宇，聊了聊其与腾讯探元计划的共创故事，以及技术如何让传统文化焕发出新的生命力。

　　在参加探元计划之前，王泽宇团队和合作者已经在中华文化交互沉浸式体验构建领域有了丰富的研究积累。所谓中华文化交互沉浸式体验构建，即打造“强参与感的交互形式+虚拟与现实展示内容+可复制空间模块”的沉浸式文化体验。

　　当游客去参观博物馆时，往往看到展品和介绍是脱节的，比如在看展品的时候很难将展品的视觉特征和文本介绍部分作对应。CIS Lab针对这个问题提出了一个创新性的解决方案，即引入人物场的关系与体验，让场馆、展品和人产生联系，拓展场馆的虚实空间，创造情境和叙事性，属性和维度，增强观众的互动参与和情感联结，提升沉浸式体验的深度和广度，使沉浸式体验模型走向复合和超越性。这种技术通过数字化和智能化手段“活化”文物，使之成为更加生动、互动的展示对象。这样的技术不仅为游客提供了一个更全面、立体的内容展示平台，而且大大丰富了他们的参观体验。它还拓宽了游客对博物馆展出内容的深入理解，让文化遗产在现代科技的助力下焕发新的活力，实现传统与现代的完美融合。

　　关于开展这个研究课题的初衷，王泽宇谈到他作为技术顾问和哈佛大学CAMLab汪悦进教授团队合作的“窟·舞”项目。他们面临的挑战在于如何将壁画中静态的舞蹈形象转化为生动、流动的动态效果。通过技术的辅助，他们希望赋予古老艺术新的生命，让观众以全新的视角体验传统文化的魅力。

　　焕活传统文化的想法与腾讯探元计划的初衷不谋而合，于是，CIS Lab申报了腾讯探元计划2023。

　　创意智能协同实验室（CIS Lab）依托香港科技大学（广州）信息枢纽计算媒体与艺术学域，主要研究方向包括计算机图形学、人机交互、生成式人工智能、数字文化遗产等前沿科技领域，致力于将最新的科技成果应用于文化遗产的保护和再现，推动传统文化的数字化转型。他们的愿景是增强文化遗产的互动性和普及性，同时也探索人工智能和人机交互在文化传承中的应用潜力。这些都离不开港科大这个国际化的平台，基于“港科大一体，双校互补”的战略框架，香港与广州校园资源共享，优势互补，在学术规范，师资水平，课程质量等方面保持一致，在跨学科研究、国际化合作方面具有独特的资源和优势，为CIS Lab的研究提供了坚实的支持。最终，CIS Lab在315个创新技术方案中脱颖而出，荣获了TOP20创新技术应用大奖。

　　谈到未来愿景，王泽宇表示希望未来能够焕活更多的文化遗产。他希望未来能够让博物馆中的文物、遍布大地的遗址以及珍贵的古籍等各类文化遗产都能以一种更加生动和互动的方式“活”起来。同时也提到，实现这一愿景需要多方面的努力和支持。技术的进步是基础，它为文化遗产的数字化和互动化提供了可能。此外，充足的资源和一个合适的平台也是必不可少的。这意味着需要整合来自政府、教育机构、科技公司等多个领域的力量和智慧，共同推进文化遗产的现代化转型。这一愿景不仅展示了对传统文化的深刻理解和尊重，也体现了对于科技与文化融合发展潜力的深刻洞察。

　　如何将文化艺术与前沿科技结合起来，实现沉浸式参观体验，王泽宇所带领的实验室做了四项技术突破：高精度环境三维重建、高精度数字人三维重建、MR/AR高交互技术、沉浸式文博展览解决方案。

　　构建沉浸式文化展览的第一步是数据采集，以三维重建和建模为代表的数字资产是构建元宇宙数字文旅体验的基础。以河南洛阳龙门石窟的三维重建为例，奉先寺的卢舍那大佛尺寸较大，需要选用支持大尺度的感知技术，而宾阳中洞的塑像与浮雕细节则需要选用更高精度的感知技术。在北京大学查红彬教授的带领下，团队采用了飞行时间、激光、结构光等一系列扫描技术，完成大佛的高精度三维重建，并基于此提出了文物数字修复、考古线稿生成、壁画纹理增强等创新方法。

　　在获得环境的数字资产之后，团队也开始着手研究人体和物体的数字内容创作和生成方法。在与哈佛大学CAMLab合作的敦煌舞蹈项目Cave Dance（窟·舞）项目中，他们邀请了北京舞蹈学院史敏教授团队，利用动作捕捉和机器学习技术，将专业的敦煌舞蹈进行了高精度数字化，并基于只有关键骨骼点信息的“火柴人”生成了具有真实几何形状的参数化人体模型，然后再通过计算机图形学中的角色动画和粒子特效等技术，最终将敦煌舞蹈从静态的壁画转化为一个个栩栩如生的动态场景。

　　有了环境和人体的数字资产后，游客怎么和内容进行交互？CIS Lab利用移动端AR技术实现了内容和空间一体化设计。例如，传统AR工具不支持远程环境设计和实地场景编辑，团队开发了基于三维采集和空间交互的移动端AR系统，支持设计多条参观动线和多种互动方式，从而构建强参与感的空间体验。

　　将展示内容、交互方式与实际的物理空间结合起来，也是CIS Lab正在突破的技术点，沉浸式文博展览解决方案针对物理空间设计的核心问题，提出了一系列新型智能生成与交互方法。例如，传统2D草图不能充分表达材质和空间信息，3D创作软件耗时耗力，CIS Lab通过集成3D草图创作和AI内容生成实现3D场景原型设计，形成高质量并且可以快速迭代的空间设计模式。

　　实现这样复杂的项目需要跨学科团队才能完成，据王泽宇介绍，目前实验室团队涵盖了计算机科学、中文、艺术、建筑设计等不同专业背景的学生，包括1名博士后研究员，7名博士研究生，11名硕士研究生。从数据采集到内容生成再到物理空间连接，CIS Lab用技术革新了沉浸式空间的体验，但是科研的过程并不总是一帆风顺的，优秀的项目也需要更大的平台才能将技术应用到更广泛的领域，带着这样的初衷，他们报名参与了腾讯探元计划。

　　在采访的过程中，王泽宇还谈到了项目落地过程中的难点，“数据的束缚或者数据的不公开性，一方面造成成本很高，另外一方面每家博物馆技术储备有限，很多时候会出现重复造轮子的状态，优秀的技术也很难去推广应用。”

　　实际上，这不仅仅是王泽宇个人碰到的难题，同时也是整个行业的难题，数据不公开、信息不流通、技术难以规模化等都在阻碍文化数字化的进程，往往会出现“技术找场景”“场景找技术”的局面。

　　此外，作为高校的优秀科研项目，与企业不同的是，CIS Lab更注重技术的突破与原创性，但是在项目落地方面还存在经验不足的情况。因此，他们需要一个既懂技术方又懂场景方、既懂科技又懂文化的平台来进行交流碰撞，把技术进行普及化。

　　腾讯探元计划就是这样一个平台通道，将行业中各种力量汇聚在一起，通过加速赋能，将高校的科研技术转化为成果并且加以放大，补足场景方技术能力不足的问题，同时帮助技术方与场景方跨过信息沟通的鸿沟，真正地将技术与场景链接起来。

　　在报名参加腾讯探元计划之前，王泽宇已经通过多个优秀项目案例听说过腾讯探元计划，在王泽宇看来，腾讯探元计划是在一直在文化数字化上探索扎根，既希望通过腾讯探元计划更好地了解国内数字文化产业，特别是科技赋能数字文化产业的现状，又希望能够把CIS Lab优秀的科研成果与文博机构做具体的对接和落地，带着这样的初衷，王泽宇带领团队参与了腾讯探元计划。

　　腾讯探元计划搭建了一个近于跨界融合的创新平台，解决了行业里各自为功的现状，将优秀的资源聚集到同一个平台上，让技术方与场景方以及行业专家三方进行深度碰撞。在共创孵化阶段，腾讯探元计划2023共邀请到了5大文化场景方、35个技术创新主体、14位行业专家导师，共同探索中华文化的数字生命力，为中华文化赋予新的活力和魅力。

　　在长期的实践中，腾讯探元计划发现仅仅将优秀的资源引进到平台上是远远不够的，类似于“文化+技术”这种跨学科合作，因为术语不同，技术方与场景方之间存在着沟通不顺利的情况，将场景方与技术方之间的需求进行匹配与传递，帮助双方更好的理解、对话、交流，也是腾讯探元计划2023的重要赋能。

　　根据王泽宇的经验，腾讯探元计划在这方面做了很多工作，帮助技术转化成具体的成果，同时又帮助成果精准地找到场景，他表示：“腾讯探元计划的各位老师孵化很多这样的合作案例，所以就更好的帮助理解场景方的实际需求，这一点帮助很大。”

　　腾讯探元计划汇集数字文化领域一流的企业、高校资源、实战专家、学者，全程跟踪辅导，推动优秀项目与场景方进行精准对接，通过培训、赋能、共建共创，给予人力物力财力支持，推动优秀项目共创落地。

　　在参加腾讯探元计划之后，王泽宇表示，一方面认识到了这个领域里面最顶尖的人和技术，另外一方面通过孵化营学习到了产学研如何深度融合，以及从前沿技术分享到成功实践落地的系统性思维。

　　除了推动技术场景落地之外，于技术方而言，腾讯探元计划的加速赋能也是对技术方一次补充项目落地经验的过程，作为高校的项目案例，CIS Lab拥有优秀的核心技术，但是在技术向产品转化、产品落地等方面还需要再探索，通过参加腾讯探元计划，王泽宇还在项目落地方面得到了一定的启发。

　　即使是做技术研究也不能闭门造车，一定要对实际的产业需求有理解，根据产业需求提供针对性的技术解决方案，科研与产业界才能形成更好的互动与融合。王泽宇表示，这次参加探元计划打开了视野，以后会积极考虑将科研项目进行产业转化。

　　本次腾讯探元计划的Top20创新技术主体中，不乏有一些优秀高校的优秀项目，腾讯探元计划也在一步步尝试和高校之间的的合作与实践，打造基于文化科技、基于技术成果转化的校企联动新模式。该模式由高校科研院所和大公司组成。双方各司其职，共同提高科技成果转化的效率与成功率。前者侧重技术创新，后者则以场景为牵引，侧重打通技术与场景结合的“最后一公里”。在腾讯探元计划与CIS Lab联动过程中，基于技术与场景的落地，其他可推动技术成果转化的参与方也将参与其中，丰富、完善校企联动新模式。

　　文化遗产是一个民族留存下来的宝贵财富，奠定了一个国家的文明基底，文化遗产与前沿科技的融合拓宽了文化传承的意义，但是传承中华文化仅靠一家之力是不可能做到的。

　　因此，腾讯探元计划将更多的社会资源聚合起来，众人拾柴火焰高，腾讯探元计划一直在做社会影响力规模化，即让更多的企业、群体与个人参与进中华文化遗产的传承与保护中来来，发挥各方优势和势能，激活文化传承活力，努力形成良性循环的动能，发掘文化数字化所蕴含的巨大社会价值。

　　腾讯研究院：《腾讯探元计划TOP20代表系列访谈（三） 新维畅想的文物焕活》

　　腾讯研究院：《腾讯探元计划TOP20代表系列访谈（四） 兰大运用“穿墙术”给石窟做CT》