随着光学三维传感技术的快速发展,3D 扫描被越来越广泛的应用于逆向工程、工业设计、地貌测绘、医学影像、生物信息以及社会文化活动等诸多领域。
同时,以安防应用为目的的三维人脸特征分析与识别也越来越受到重视。对人脸进行三维图像重构和研究可弥补二维人脸图像不能解决的多姿态多角度等问题,而建立大规模的三维人脸图像库对三维人脸数据的分析研究、模型训练、算法性能比较测试是必不可少的基础数据资源[1].因此,建立高精度的三维人脸图像库对于安防视频图像中的人脸特征分析研究以及在法庭科学中的应用有着非常重要的意义[2-4].经过比较,选用 Artec Spider 3D 扫描仪用于采集人脸三维图像,之后通过计算机软件对采集数据进行预处理,历时三个月时间获取了 1100 多份高分辨率的彩色三维人脸图像以供进一步研究。本文就此次三维人脸采集及预处理过程中的操作经验进行归纳,总结出采集流程、集合帧数、人工干预配准等因素对处理前后图像质量差异的影响,并对其中遇到的问题提出解决办法。
1 3D扫描仪工作原理
使用的 Artec Spider 是一款手持使用的拍照式3D 扫描仪,其采用的是结构光技术,依据光学传感测量原理,投影模块先将一系列编码光栅投影到物体表面,再由采集模块捕获相应被调制的光栅图像,然后通过特有的算法获取高密度点云数据的三维坐标[5].在获得物体表面的空间坐标后,通过计算机来进行图像配准、光顺合成以及细节编辑,重建出人脸的三维模型,最后以三角面片网格为单元贴上扫描时同步获得的纹理图像[6],从而得到处理后的三维人脸图像(见图 1)。这种照相式 3D 扫描设备的特点是 :(1)光学传感。使用白色和蓝色的发光二极管(LED)作为光源,非接触式测量和捕获图像,对物体表面不会造成伤害 ;(2)测量精度高,深度信息可达微米级别。每个采集样本约包含 3000~5000 万个网格,可捕获到人脸部细小特征的三维数据,即使简化网格后加上同步捕获的高分辨彩色图像,仍可清晰的再现人脸皮肤的皱纹及毛孔 ;(3)对复杂曲面可以分区域连续测量。
手持式 3D 扫描仪可灵活的多角度移动,更适合采集人脸各结构各部位表面的深度数据和纹理数据 ;(4)捕获的同时利用参考点拼接技术可进行曲面自动配准,也方便操作者实时观察采集效果,及时调整扫描范围 ;(5)对环境要求较低,采集现场只要具备交流电源,明视环境下即可进行操作 ;(6)对黑色及透明材料有限制,不能捕获被采集者的黑色头发及面部较浓密的黑色毛发。
2 三维人脸图像数据的采集
采集设备进行三维扫描的过程是一个实时曲面配准的过程。尽管这一过程有一定的鲁棒性,但是扫描对象的姿态变化很容易干扰配准的准确度[7].因此在采集三维人脸图像前应和被采集人进行必要的沟通,防止采集过程中因被采集人说话或移动导致配准失效而中断操作。
为了在保证数据质量的同时减少重复数据量,使用手持式 3D 扫描仪时,需要按照一定的移动顺序对人脸图像进行撷取[8,9].采取的扫描顺序(见图 2)是从被采集人的一侧耳部开始,上下 S 型经鼻面部向另一侧耳部移动,然后向下采集下巴被遮挡部位的图像,最后回到开始的部位完成扫描(单帧曲面范围 90mm×70mm~180mm×140mm)。这样做的好处,一是不会遗漏采集部位 ;二是符合人脸面部结构特点,如果采用横向 S 型扫描则要多次经过鼻翼两侧,这就增加了扫描难度 ;三是固定了采集顺序,在预处理时可以快速找到需要修改或删除的某一帧或几帧图像。对耳朵、鼻翼两侧、下唇至下巴中间结构比较复杂的曲面,在采集时,可以采取小角度变换扫描仪打光角度。对下巴的采集,可以将扫描仪从下方尽量接近被采集人身体并向上打光,以减少由于遮挡形成的空洞。
因手持式 3D 扫描仪的便携特点(≤1kg),采集现场只要具备交流电,在明视照度下即可进行操作,所以非常方便在非实验室环境进行采集。
3 对采集数据的预处理
采集到的原始数据是一个曲面帧集合,根据采集时间、帧速率的不同包含 400~1500 个曲面帧数据。
将这些数据合成一个完整的三维人脸图像之前需要一系列的模型处理。主要包括:整体配准、光顺合成、补洞、小型对象过滤、简化网格以及纹理映射等步骤[7,10].对于大部分一次性采集完成且自动配准较好的数据,使用上述自动处理都能够取得良好效果。
但由于光照条件的细微变化、脸部皮肤的光滑程度不同,或者曲面结构相互遮挡等因素,一些模型自动处理的结果并不理想,如图 3 左所示,自动配准造成了明显的裂纹。这不但会影响视觉效果,还对后期的深入应用造成干扰[11].这就需要经过人工干预配准获得理想的效果(见图 3 右)。人工干预配准主要包括三个步骤 :
第一步要先找出自动配准不理想的帧或帧集合,将其选取移出成为新的帧集合。如图 4 所示,计算机在自动配准扫描图像时出现了较大的偏离(见图 4左),这就要对偏离的曲面进行人工筛选,生成新的帧集合(见图 4 右)。有的采集图像可能包含多个曲面的图像,分离出不止一个帧集合,可根据具体的采集结果分离出二个或二个以上的帧集合,每个帧集合应保持在一个连续的曲面内且互相包含重合区域。
第二步是在分离出的帧集合之间进行特征对齐,即在需要拼合的两部分帧集合上标记多个特征比较明显的相同部位(同名点),例如眼角、嘴角、耳廓、鼻尖、鼻翼等部位(见图 5)。如果分离图像没有共同的明显的特征,也可以通过人工交互移动待配准的帧集合与参考帧集合尽量对齐重合,其重合精度主要依赖人眼。
第三步是自动拼接网格。如果把“特征对齐”理解为对分离图像的“粗拼”,那么“拼接网格”即是对分离图像的“细拼”.在自动拼接网格的基础上再“允许图像纹理拼接”,这样就得出人工拟合后的三维图像,后续可以重复整体配准和光顺合成的过程,达到更好的处理效果。
另外,人工干预也可以通过删除个别帧图像以获取较好的图像质量。例如图 6 就是通过删除单帧,来修补眨眼造成的闭眼图像。
由于光照条件的变化或者扫描过程中偶然出现的不稳定移动,可能会对采集的三维人脸图像质量造成影响,自动配准和人工干预后仍由此可见会出现裂纹或者其他不理想的质量问题(约占 5.3%)。这种情况下可以通过 2D/3D 擦除、修补和光滑处理来改善,但是应尽量减少图像插值的处理,以免改变或消除人脸面部皮肤的原始细节特征。
除此之外,对三维图像的编辑还包括坐标变换、数据擦除、网格简化等,对纹理图像的编辑包括亮度/ 对比度调整、色调、色饱和度以及图像灰度校正等。
使用的 3D 扫描仪的帧速率为 7.5fps,采集一个样本的平均耗时在 80~110s 之间。为了说明采集帧数与图像质量的关系,记录预处理过程中的部分数据。
按照“优质、良好、一般”将处理前后的图像质量评价为三个等级,并按照采集帧数分类得出以下数据关系(见表 1)【1】
由此可见,采集图像在 500~700 帧范围内的三维人脸图像的质量最好,需要人工干预处理的样本数较少,平均处理的时间也较短。700~900 帧的图像需要较多的人工干预,但是预处理后也可以得到较高的图像质量。900 帧以上的图像采集质量较一般,但是经预处理后图像质量有较大幅度提高,只是处理耗时较长。而 500 帧以下的图像质量在预处理前后都很难获得高质量的图像效果。
参考文献
[1]王跃明,潘纲,吴朝晖 . 三维人脸识别研究综述[J]. 计算机辅助设计与图形学学报,2008, 20(7): 819-829.
[2]段锦,周春光,刘小华 . 三维人脸识别研究进展[J]. 小型微型计算机系统,2004, 25(5): 886-890.
[3]张继宗,徐磊 . 人像资料鉴定存在问题及对策[J]. 刑事技术 2013(1): 56-58.