第二届“一带一路”文化和科技融合发展大会嘉宾发言摘登 || 张加万
作者：微信文章人工智能助力文物领域科技创新的思考
天津大学教授 张加万
智能科技现已取得非常多成果，不论是文物、博物馆还是考古领域，从过去纸质化办公、做规划、策划，到现在完全用数字方式做记录、研究和传播，其数字化工作模式业已建立。随着各种创新应用的不断发展，文博领域基于智能技术的各种新工具和平台也发展得如火如荼。
2024 年是人工智能取得重大突破的一年。新一轮人工智能革命有几个重要特点：一是数据驱动，文物领域本身就有非常多的数据，属于知识驱动的行业；二是从过去的定性研究，到定量研究，现在慢慢过渡到用 AI 工具推动文博领域研究。今年各个领域都在谈 AI4Science，即人工智能如何助力各行各业的研究。其实，在文物、博物馆、考古领域也有这样的话题，即 AI4Heritage，下面就从该链条分享一下做过的相关工作及成果。
既然新一轮人工智能革命是数据驱动的，数据是第一要素，那么在文物领域里，记录其实就是保护。把过去的文物通过各种数字化手段记录下来使其变成数字化的形式，永续地保存和利用。像敦煌研究院的数字敦煌，把壁画数字化，这是在智能领域中文物的智能数据要素的体现。过去可能用胶卷，现在用相机或更高级的手段进行记录。在既有珍贵的不可移动文物和可移动文物，又在数字空间里有了其数字版本的孪生体后，文物在物理世界和现实世界的两个不同版本之间其实存在着多样化的互动。可以从这两个空间的互动中找到文物保护的新应用,也可以根据数字空间的反馈来对现实世界中的真实文物做相关工作，即在整个文物保护、传承、利用的所有环节，都可以是数据驱动和智能驱动的。
文物数据要素的维度非常多。首先是文物的多样性，馆藏的各类材质、形式、器型的文物多种多样。根据第三次全国文物普查的数据，我国有超过 1.5 亿件可移动文物，近 80 万处不可移动文物。它们类型各异，其数字化的手段也五花八门，既有光学形式的测绘、拍照，也有多光谱、各种理化检验手段，所以采集到的数据不单是照片或三维模型。其次是时间维度，我们可以随着时间的变化来记录文物的病害、演变，这是文物多维动态特性的表现。再就是数据维度，文物是过去的创造，其背后有大量的数据知识，即大量的关联数据或关联信息。所以，文物数据要素的维度相当宽广。
文物的多样性。研究团队做过数据化的最大一件青铜器文物，是号称“青铜之最”的秦兵马俑的铜车马二号车，其体型巨大、结构复杂、工艺精美，用多光谱能看到车厢里还有精美的壁画。再就是博物馆里的可移动文物非常多，除了各种青铜器，还有很多瓷器、玉器、漆器、木器等，它们的器型、纹饰、材质、结构都各异。此外还有很多在技术方面尚有一定采集难度的文物，如半透明或透明的高反射材质的文物，用现在的数字化手段仍较难高精准地采集其信息。
文物的时间维度。以敦煌同一位置壁画的两张照片为例，一张是早年西方探险家在 1908 年拍摄的敦煌壁画，另一张是 2008 年时拍摄的照片。通过对比可以看出壁画与一百年前相比发生了哪些变化。
这些现象启示我们，进行文物数字化不仅仅是记录，还可以做保护。团队博士研究生最近在研究敦煌 2010 年和 2020 年两次数字化时的取像结果，发现对同一位置的数字化采集，前后两次用的传感器不一样，采集设备不一样，光照不一样，对同一位置前后所拍摄的照片分辨率也不相同，2010 年的照片分辨率较低。这样的两张图片就与上文举例的 100 年前西方人拍摄的胶卷照片和 100 年后现代拍摄的数码相照片的比对一样，可以比对文物的变化，哪些地方变了，何处变化比较剧烈等。这就不仅进行了数字化，还对文物的病害、变化有了清晰的了解。
数据维度。一些重要文物的背后有大量的知识关联，以山西博物院的 100 件珍贵文物为例，首先，把它们背后能找到的信息网罗殆尽，就能确立并讲清这 100 件文物背后的信息关联。其次，可以用 AI 推动文物价值挖掘这项重要工作。拿考古来说，现在各种人工智能技术飞速发展，不但能处理图片、文字，还能处理古籍，让我们可以尽收各种理化检验数据，再用这些数据构造一个强大的人工智能模型。
利用人工智能模型可以大大提高考古领域文物研究的效率。对于出土文物的多模态，可以构建一个新的工具和平台，把各种传感数据、理化检验数据都放入进去。2024 年诺贝尔化学奖颁给了名为 AlphaFold2 的人工智能模型，因为它给出了蛋白质折叠的人工智能方法。借鉴此类方法，各行各业都可以构建出自己的能够吸纳各类多模态数据，能够为人类所用、为研究所用的大模型，从而具备更大能力，去支撑文物价值挖掘、考古、考古报告的快速生成，甚至展览策划方案的生成等一系列工作。在技术层面这些都不难做到，重要的是能有大量的数据输入到模型中，这就是 AI 带来的展览展示传播手段的创新。
AI 不仅能够助力数据采集、加工等工作，以及助力文物领域研究人员开展研究，对公众其实也有很多应用。2016 年以后，在人工智能及相关技术支持下，国内各种 VR、AR 或 XR 发展得如火如荼，最近几年文博领域中较多用严肃游戏来推动文化遗产的传播。在应用展现方面，产生了智能人机交互和协同等工作，人不需要实际面对不可触摸、不可互动的文物，而只跟其数字版本交互即可。在公众服务类工作方面进行推荐、问答，虽然没有大模型也能做问答，但在新一轮大模型驱动下，问答变得更加容易。还可以做信息无障碍设计，帮助有障碍的人士来感知博物馆、感知文物、感知考古遗址，例如做成 3D 打印的版本，让他们进行触摸。
在“十三五”期间，研究团队与国内相关博物馆和文博单位合作，进行人工智能与文物的结合应用。在导览方面，做出基于文物知识图谱的导览系统，推动公众更多维度地感受文物，而不只是展现上的只言片语的介绍。另外，把文物背后的数据整理加工好，以新型的交互和呈现手段，呈现在公众面前。例如与湖南博物院、山西博物院合作的项目，在展现上都把文物知识进行了无限拓展，以各种维度呈现给公众。上图呈现的就是湖南地区的所有音乐文物的关联信息，大家在一个数字空间里就可以探索音乐类文物背后的所有故事。既可以呈现单件文物，也可以把一组或一类文物都关联、组织、呈现出来，用到展览中。
呈现和交互的工作方面，新一代的人机交互技术中有大量的场景需要把人、文物和交互设备打通。疫情期间湖南博物馆的一个展览中，利用湖南博物馆馆藏的古琴，把传统的古琴艺术数字化联动了起来。在现场，公众虽然不能碰触这把唐琴，但可以与它的数字版本进行交互，虚拟地弹奏古琴，甚至不识减字谱也没关系，展览方给配上了减字谱的人工智能系统，让人能够非常快速地掌握减字谱的指法，以进行互动。
展览中，还可以把文物与现场的展示结合起来。比如在展览的尾厅，设置六块可触摸的电子屏，把湖南地区的所有音乐文物以及由它拓展出来的中国的所有音乐文物，以星空、河流的形式进行互动展示。该“高山流水遇知音”湖湘音乐史展项，将湖南乃至中国音乐史中重要的音乐文物、音乐文献、音乐人物、音乐形式等多维度、多模态大数据具象化为山川河流、雾霭孤舟、浩瀚星空，观众可以自由点击大屏上的众多知识点图标，比如一件文物、一件艺术作品、古人的一个曲谱，深入探索湖湘及中华音乐文化的源远流长与丰富多样。
这其实就是人机交互和人工智能与文物以及展览相结合的尝试。展览原计划是展出三个月，并特意设为收费展，第一个月仍有大约有十五六万人线下观看，足见智能技术加持的数据呈现和交互手段，对实际展览所产生的影响。
上述“基于知识图谱的文物知识组织和服务关键技术研发与示范”项目得到了包括敦煌研究院、湖南省博物馆、山西博物院、上海博物馆以及众多科研院所和企业的支持，现已顺利结题，并通过综合绩效评估。
活动现场
END
一带一路·共赢未来
中 心 简 介
丝路规划研究中心是全国政协办公厅业务主管、民政部注册登记的专业性、应用型智库。中心致力于开展“一带一路” 相关重大问题研究、规划推动等工作，是依托专家委员、服务“一带一路”倡议的战略融智平台。
页:
[1]