数字图像修补技术的研究现状与展望

　　引 言

　　随着计算机技术的不断发展，各种数字采集设备应运而生，人们的生活中出现了大量的数字图像，然而，这些数字图像在获取、处理、压缩以及传输的过程中将不可避免地发生一定程度的损坏，导致局部信息的缺失。 数字图像修补技术可以有效地对其进行修复，并使得修补后的图像完好如初，从而广泛地应用于人类生活的各个领域，具有十分重要的理论意义和应用价值。

　　本文由三个部分构成： 第一部分是对数字图像修补技术进行简要介绍，包括数字图像修补技术的概念、目的及研究背景； 第二部分对数字图像修补技术的研究现状进行了系统的综述； 第三部分介绍了数字图像修补技术广泛的应用前景。

　　1 数字图像修补技术介绍

　　数字图像修补技术就是利用图像中未损坏的信息对图像中的待修补区域进行信息填补的过程，其目的是恢复破损图像的完整性，并尽量减少修补的痕迹，使修补后的图像在整体上能够被人的视觉心理所接受，即满足两个重要条件： 一是修补区域的边界与已知区域之间的过渡要平滑，二是修补后整幅图像能够达到形态上的连通性[1],就好像没有经过修补一样自然。

　　“修补”一词最早出现在文艺复兴时期，那时博物馆的艺术修复工作者们希望对中世纪的一些艺术品进行翻新，于是主要采取纯手工修补的方式对其裂缝进行填补，从而达到艺术品修复的目的。 然而，该方法操作繁琐、效率低下，且稍有不慎就会对艺术品造成二次损坏。 之后，随着计算机技术的不断发展，Bertalmio 等人[2]

　　在 2000 年的 SIGGRAPH 国际学术会议上首次开创性地提出了“数字图像修补”这一名词，并将计算机技术与图像修补技术巧妙地结合在一起，试图借助计算机寻找一种高效的图像修补方式，从而实现图像修补技术的自动化或半自动化。 短短十几年间，数字图像修补技术以其强大的生命力迅速蓬勃发展起来，成为了数字图像处理领域一个新的研究热点。

　　2 数字图像修补技术的研究现状

　　目前，对数字图像修补技术的研究主要可以归纳为以下三大方面。

　　2. 1 基于变分 PDE 的数字图像修补技术

　　基于变分 PDE 的数字图像修补技术是早期的图像修补方法，主要包括两大类： 一类是基于偏微分方程（ PDE） 的图像修补方法，另一类是基于变分法的图像修补方法。 由于 PDE 和变分法可以通过变分原理相互等价推出，因此本文把这两类方法统称为变分 PDE 方法[3].

　　Bertalmio 等人[2]率先提出了基于三阶 PDE 的 BSCB 模型，其基本思想是将待修补区域周围的信息沿等照度线的方向光滑延伸到待修补区域内，从而达到图像修补的效果。 另外，Chan 等人[4,5]首次将 TV模型和 Mumford-Shah 模型应用于图像修补领域，并在此基础上提出了 TV 修补模型和 Mumford-Shah 修补模型。 然而，这两种方法存在一个共同的缺陷，即不满足图像修补的连通性原理，并且修补的图像中存在拐角。 后来，为了克服这一弊端他们又提出了 CDD 修补模型[6],该模型引入曲率对扩散强度进行调节，从而使大曲率处扩散变强，小曲率处扩散逐渐减弱甚至消失。 之后，Chan 等人[7]将弹性能量应用到图像修补中，建立了欧拉弹性修补模型，由于该模型重构图像的水平线为光滑曲线而非直线，因此可以较好地对图像进行曲线修复，具有良好的连续性。 但是，由于欧拉弹性修补模型是一个四阶 PDE 模型，因此数值实现相对复杂，收敛速度较慢。 随后，Esedoglu 等人[8]又将欧拉弹性修补模型引入到了Mumford-Shah 修补模型中，建立了更加有效的 Mumford-Shah-Euler 模型。 然而，基于变分 PDE 的图像修补技术仅适合于对小尺度的受损图像进行修补，对于尺度较大的受损区域，尤其是在纹理比较丰富的情况下，修补区域与周围的纹理区域之间将会产生明显的对比，修补效果不够自然。 2006 年台雪成等人[9]提出了一种基于 TV-Stokes 方程的图像修补模型，由于在该模型中加入了零散度条件，使得该算法能够对较大区域的图像进行修复，并且取得了较好的修复效果。

　　2. 2 基于纹理合成的数字图像修补技术

　　为了解决基于变分 PDE 的方法在修补大范围破损图像时无法解决的图像纹理填充问题，研究者们进一步提出了基于纹理合成的数字图像修补技术[10],该方法将纹理合成技术应用于图像修补领域，其核心思想是仿真并生成局部纹理进行填充[11],取得了较好的修补效果。

　　一部分研究者利用基于像素的纹理合成方法对图像进行修补，其中 Bornard 提出的方法比较典型，能够修补图像的边缘，且不易出现边缘模糊或断裂的情况，但由于对纹理的全局特征把握不够，因此当修补区域较为复杂时极易出现错误匹配[10]. Harrison[12]率先将基于块的纹理合成方法应用于图像修补领域。 随后，Drori 等人[13]利用自相似原理，采用一种由粗到精的方法逐步逼近并填充待修补区域，取得了较好的修补效果，然而由于该算法的复杂程度较高，故修补速度较慢。 另外，Borikar 等人[14]结合图像纹理的方向性特点给出了一种快速填充算法。 Criminisi 等人[15]提出的修补思路是，首先对修补区域边界点的优先权进行计算，选择出优先级最高的图像块，然后在图像的已知区域中搜索其最佳匹配块并进行匹配复制，以此类推，直到待修补区域全部匹配复制完成，即达到了图像修补的目的。 这种纹理合成主要由优先权计算、搜索和复制三个步骤组成[8]. 该方法一经提出，便立刻引起了广大研究者们的注意，随后基于该方法的改进层出不穷，并取得了较好的成果。

　　2. 3 基于图像分解的数字图像修补技术

　　基于图像分解的数字图像修补技术是一种将变分 PDE 方法与纹理合成方法相结合的混合方法，该方法的核心思想是，首先利用图像分解技术将图像分解为结构和纹理两部分，然后分别对它们进行有针对性的修补，即对纹理部分使用纹理合成技术进行修补，对结构部分运用变分 PDE 方法进行修补，从而对症下药达到理想的图像修补效果。 Bertalmio 等人[16]率先采用 Meyer 提出的 TV 分解模型[17]将图像分解为结构部分和纹理部分，然后用他们所建立的 BSCB 模型[2]修补结构部分，用纹理合成技术修补纹理部分，最后再将两部分进行叠加得到恢复后的图像。 还有一些研究者也提出了类似的方法，针对图像的不同部分选取合适的修补方法，并取得了令人满意的结果。

　　3 数字图像修补技术的应用前景

　　3. 1 对文物书画、旧照片及老电影进行修补

　　一些旧照片以及书画等文物由于年代比较久远，在存储的过程中不可避免地会发生一定程度的损坏或变质，直接对原始照片或文物进行修补不仅需要复杂的人工操作而且存在着较大的风险，一旦操作不当将会加重其损坏的程度，甚至造成不可挽回的后果。 这时我们可以利用数码设备将原始的照片以及书画等文物扫描为数字图像，应用数字图像修补技术对其自动进行恢复，这样既不会对原始图片造成任何损坏，又可以获得完美的修补效果。

　　3. 2 对图像中遮挡文字的移除

　　在日常生活中人们为了更加有效地表达和说明，时常会将图像与文字信息搭配起来，比如广告词、旁白、新闻标题等，但是，当我们仅仅对文字的背景图像感兴趣时，这些文字就会影响我们对背景图像的欣赏。 这时我们可以应用数字图像修补技术对图像中文字所在的区域进行修补，就好像是把文字从图像中移除了一样，从而使背景图像恢复本来的面貌。

　　3. 3 特效制作。

　　在摄影、广告宣传以及影视制作等方面，人们为了达到某些特殊的视觉效果，通常会应用数字图像修补技术对图像中某些特定的物体进行隐藏或移除，从而带给人们视觉上的冲击及新鲜感，因此，数字图像修补技术在特效制作领域发挥了极其重要的作用。

　　3. 4 数字放大

　　数字放大的目的是由原始图像再生出具有更高分辨率的图像，它在日常生活中的应用十分广泛，然而，在图像放大的过程中图像的质量将不可避免地受到影响，即会出现图像失真的现象。 数字图像修补技术可以有效地对该问题进行解决，它不仅能够保持图像的清晰度，而且能够保持图像边缘的光滑性，从而得到高品质的放大图像。

　　3. 5 图像编码

　　图像编码也称图像压缩，指在满足一定保真度的前提下对图像信号进行高效的编码和压缩，从而减少数据的存储量，以便于图像的存储和传输。 在编码过程中，一部分的图像数据将会被省略，当人们希望获取完整的原始图像时，就需要对编码后的图像进行解压，即恢复省略掉的图像数据，这时通过应用数字图像修补技术对省略掉的信息进行填充，就可以得到解压后的图像，从而使原始图像的真实信息得到有效的还原。

　　4 总 结

　　随着科学技术的不断发展和相关理论的不断完善，数字图像修补技术必将广泛地应用于军事、生物医学、通信工程、航空航天、文化艺术等相关领域，在人类生活的方方面面发挥极其重要的作用和价值。

　　可是，作为数字图像处理领域的一个年轻的分支，目前的数字图像修补技术还不够成熟和完美，比如尚且缺乏一套公认的图像修补评价体系，无法对修补后的图像进行客观的定量评价。 然而，也正因为如此，数字图像修补技术拥有着广阔的研究前景和发展空间，需要人们在思想和方法上不断地进行改进和创新，从而推动图像处理领域的发展。

　　参考文献：
　　[1] 祝轩。 基于偏微分方程的图像去噪、修复及放大研究[D]. 西安： 西北大学，2008.
　　[2] BERTALMIO M,SAPIRO G,CASELLES V,et al. Image inpainting[C]. Proceedings of the SIGGRAPH,2000.
　　[3] 张红英。 数字图像修复技术的研究与应用[D]. 成都： 电子科技大学，2006.