重要提示:
2024年山东省文物保护修复与鉴定中心单位预算
当前位置:首页 > 文保科技 > 文保科研
观点 | 基于多模态影像融合技术的文物数字化保护
作者:卫 国 张孜江 | 来源:文博中国 | 发布时间:2020-08-20


2018年巴西国家博物馆和2019年法国巴黎圣母院的大火,给全世界的文物安全工作敲响了警钟。在竭尽所能地做好文物安全工作的同时,如何实现文物的永续保护和利用,是每个文博人需要思考的问题。

 

目前,数字化技术已普遍应用于博物馆的各个领域,然而,由于传统博物馆在信息技术推广应用方面普遍较弱,承担文物数字化保护工作的多为跨行业领域的电子信息或互联网企业。由于缺少博物馆专业人员的参与,文物数字化保护工作的重点集中在数字化传播、数字化教育、数字化服务等展示应用上,文物信息采集满足于3D投影、AR、VR、透明屏、AI等的制作,数字化保护项目往往做成了数字化展示项目,获取的文物数字化信息无法用于文物保护方式的研究、文物修复材料和修复技术的研究、文物的复原及辅助修复、3D打印等。这种本末倒置的文物数字化保护现状亟须改进。

数据精准度是文物数字化保护的基础。所有的数字化演示、传播,都是建立在基础数据之上,基础数据的精准度,直接关系到今后应用的效果和质量。目前采集的文物数据仅是用于展示的“低模”数据,无法满足文物修复、研究等保护工作的需求,致使出现同一件文物会反复拍摄、采集的问题。如何做到“一次采集,终身受益”,除了提高精准度外,别无他法。

三维数字化信息采集是文物数字化管理、数字化保护、数字化展示和数字化传播等一切新技术应用的起点,是构建可用于3D打印的精细化数字模型的质量保障。那么,构建什么精度的模型才能终身受益?

我们通常采集的数字模型在行业内有高模和低模之分。高模是高精度模型的简称。从文物信息采集到成果输出,其技术和质量标准都需达到测量记录的最高标准;其构建的文物数字模型必须能用于文物高清三维数字化复原及辅助修复和3D打印复制。高精度数字模型,保存了文物真实、翔实的三维模型数据,可用于藏品管理系统数据存储备份和文物的数字化保护、研究。其优点是细节丰富、尺寸精准、颜色信息多,但缺点是文件体积大,对处理设备要求高。高模的获取方式是通过高精度激光扫描、近景测量、高精度结构光扫描等获得。尺寸精度要求普遍在≤0.01mm,分辨率0.01mm以下,模型面数≧100万面,如附带色彩纹理贴图,分辨率4K或以上。

低模是低精度模型的简称。从文物信息采集到成果输出主要用于满足多平台展示性要求,其构建的数字模型应顺畅地用于PC端及社交平台文物的3D展示,文物的物理细节信息被大量抹去。其优点是文件体积小、对处理设备要求低(例如手机、平板、低配置电脑等),但缺点是90%以上的文物物理细节信息需要被抹去。低模的获取方式是,通过一般激光扫描、近景测量、普通结构光扫描等获取;精度的要求普遍在≤0.1mm以上,分辨率1mm以上,模型面数在5万面至30万面,如附带纹理贴图,分辨率在4K以下。

数字化保护与数字化展示在信息采集的技术要求和质量标准上存在巨大差异。从两者的技术要求来看,显然不在一个量级上。高模可以经过后期制作,转化成低模,而低模不可逆向转化为高模。博物馆行业拟议中的馆藏文物三维数据采集相关技术标准中,扫描精度误差为≤0.2mm。这种要求明显太低,白模细节缺失较多,纹饰细部丢失严重,不能满足文物复制、3D打印要求。采用这种精度要求采集出来的数据,显然是一个“低模”。而刚颁布的中华民族文化基因库数据采集标准(试用稿),数据采集的要求比博物馆行业正在制定中的标准要高一个台阶,但按照这个标准采集的三维数据,最多也只是介于低模和高模之间的“中模”。

高模减面可以变成低模,而低模却不能增面变成高模。这就像我们日常拍照一样,用手机或卡片机拍摄的图像平日里看着没有什么区别,但与专业相机拍摄的图片无法相比。专业相机拍摄的图片,可以经过压缩、裁剪后,变为普通JPG格式的图片展示,而卡片机拍摄的图片永远达不到专业相机拍摄的图像质量。然而,在文物3D数据采集方面,很多人并不了解3D数据采集的设备情况,更不清楚后期的数据建模要求,往往看见灯光布置炫目,摄影箱、高级相机都用上了,甚至4K、8K等摄像机也用上了,感觉很高大上,应该没有问题,在显示屏上演示,效果也感觉不错,但恰恰忘记了木桶效应,其中的一个短板,就已经决定了数字信息采集的精度。

“短板”是什么?是采集设备和后期建模技术。三维信息采集所用设备不同,最终建模精度也不同,要达到用于数字化保护最高标准的建模精度,仅用一种采集设备是不够的。文物的材质、反光度、纹理深度等不同,决定了必须运用多类型设备采集文物的数字信息进行建模,并将每个设备采集到的信息模型,通过“多模融合”技术融合成一个模型即“高模”,来满足文物保护和研究的需要。

什么是“多模融合”技术?“多模融合”技术是“多模态影像融合”的简称,它是以数字化技术为基础,集合人工智能图形分割算法、3DWEB渲染技术、3D数据传输优化技术等,对文物精准采集的数字化信息进行多模态影像融合。比如医疗上常用到的CT、MRI、B超等,每种设备各具优势,各输出各的图片和诊断。多模融合就是将这些多种方式采集的图片和诊断数据,同时合成在一个可视的三维模型中,帮助医生更直观地诊断和治疗,这种技术在医疗领域也是刚刚被突破和应用。

文物的多模融合就是根据文物的形状、材质及纹理深度不同,在数据采集时,兼顾多种类扫描设备和技术的优势,完成一件文物数字信息的高标准采集,并将构建的多个数字模型融合在一起,有效规避采集过程中文物结构、材质、光线等的影响,弥补采集设备的短板,准确还原文物的尺寸精度和纹理信息。

多模融合后的数字模型尺寸精准,细节丰富,色彩及纹理是通过“算法”算出来的,而不是行业普遍采用8-16张的彩色图片贴图法贴出来的,杜绝了纹理拼图接缝明显,变形误差较大,造型复杂(如镂空)的文物细节丢失严重的情况。目前,在文物保护领域运用多模融合技术构建精准的数字模型还是一项新技术,运用这种技术构建的三维模型细节精准不丢失,还原了文物真实的纹理色彩信息,其细部表现,有时已经超出了人眼识别的范围,能达到容灾备份的目的。其数据不但满足文物保护修复、复制、研究、3D打印等要求,而且经过减面,完全满足陈列展示、宣传、网络交互、出版等需要。3D打印出来后,其几何尺寸与原文物别无二致,是真正的克隆和“备胎”。因其数据量巨大,对运算处理设备和存储设备有特殊的要求。

综上所述,文物数字化保护是抢救性记录和保全文物全面信息,将文物物质资源向数字资源转化的工作,是文物永续保护和利用的基础。数据精准度是博物馆文物数字化保护的基础和核心要求,多模融合技术将是未来文物数字化保护的优选途径。