1引言

几个因素会影响彩色图像，它们不仅会影响图像的视觉感知。它们还阻碍了与不同应用(例如分段或模式识别)相关的图像特征的识别和区分。噪点是这些因素中最常见的因素之一，它会严重影响图像的视觉质量以及大多数图像处理任务的性能。这是图像采集过程中错误的结果。 在某些情况下，图像是在不合适的条件下拍摄的：弱光，清晰度太高或恶劣的天气条件。由于传输错误，网络电缆问题，信号干扰，传感器问题等，质量不足的设备可能会妨碍图像采集。因此，像素强度值无法反映我们正在拍摄的真实场景的真实色彩。由于这些原因，已经开发了许多方法来恢复丢失的图像信息并增强图像细节。彩色图像平滑是预处理技术的一部分，旨在消除可能的图像干扰而不会丢失图像信息。 类似地，锐化是一种预处理技术，对图像处理中的特征提取起着重要作用。但是即使在最后一种情况下，也需要进行平滑处理才能获得可靠的解决方案。这激发了研究和开发能够应付两种操作的方法的动机。 最初的方法通常是将其视为两步过程：首先进行平滑，然后进行锐化，或者相反。但是，这种方法通常会导致许多问题。一方面，如果我们首先应用平滑技术，那么我们可能会丢失无法在随后的锐化步骤中恢复的信息。另一方面，如果我们首先对噪声图像应用锐化方法，则会放大其中的噪声。解决此问题的理想方法是考虑一种在消除噪声的同时能够锐化图像细节和边缘的方法。但是，鉴于这两个操作的相反性质，这并不是一件简单的任务。 文献中已经提出了许多用于锐化和平滑的方法，但是如果我们将自己限制在同时考虑这两种方法的范围内，则现有技术并不那么广泛。在这项工作中，我们还将调查几种两步法，以增强图像的特征并减少图像的现有噪声。我们还将审查同时解决两个目标的技术。 这样，本文的组织如下：第2节简要介绍了图像平滑。在第3节中，我们将回顾增强和锐化领域中的一些众所周知的技术。在4.1节中，我们介绍了两步方法来进行平滑和稍后的锐化，或者进行锐化和随后的平滑。将显示两种方法的比较。这将激发对同时解决这两个过程的技术的需求，这将在第4.2节中介绍。最后，在第5节中，我们比较了上述方法给出的结果。

2平滑

图像平滑技术的目的是保持图像质量。换句话说，在不丢失图像主要特征的情况下消除噪点。但是，有几种类型的噪声。主要的三种类型是：脉冲型，加性和乘法型。脉冲噪声通常以图像像素的某些部分损坏为特征，而其他部分则保持不变。当通过添加遵循一定概率分布的随机值来修改原始图像的值时，会出现附加噪声。最后，乘法噪声比加性噪声更难以从图像中去除，因为在这种情况下，强度随信号强度(例如斑点噪声)而变化。 噪声的来源不同，每种噪声都有许多降噪方法。最常见的一种可能是所谓的热噪声。这种脉冲噪声是由于在图像采集过程中CCD传感器故障而引起的。 另一个有趣的情况是高斯噪声，其中图像的每个像素将从其原始值改变一些遵循高斯分布的量。这种噪声被建模为加性高斯白噪声。因此，可以通过将零均值高斯分布的随机值独立添加到每个图像通道中的原始像素强度来模拟其存在，其中高斯分布的标准偏差σ表征了噪声强度[  44  ]。 消除这种类型的噪声称为“ 平滑”，这将是本工作中考虑的消除噪声的类型。有许多用于平滑的非线性方法。在本节的其余部分，我们将回顾其中的一些内容。

2.1算术均值滤波器

高斯噪声平滑的第一种方法是基于线性策略。这些方法，例如算术平均滤波器(AMF)，例如参见[  44  ]，能够抑制噪声，因为它们利用了零均值特性。但是，它们会明显模糊边缘和纹理。这激发了非线性方法的发展，该方法试图通过首先检测图像边缘和细节，其次通过使边缘比图像的其他部分少平滑来减轻这些问题。

2.2双边过滤器(BF)

在非线性方法中，它们中的一大类都使用求平均值来利用高斯噪声的零均值特性。此类包括众所周知的双边过滤器(BF)[  59  ]及其变体[  5  ]。BF是一种非线性方法，可以在尊重强边缘的同时使图像平滑。这可以通过将每个像素作为相邻像素的加权平均值进行处理来完成，其中权重取决于每个像素相对于其他像素的空间和强度距离。已经开发了BF的几种变体，例如，在[  16  ]中提出的BF与边缘检测算法的集成，或者在[  34  ]中提出的采用模糊度量对BF进行自适应。 尊重图像结构的另一种非线性方法是最小均值段同化核(SUSAN)[  56  ]。这里，特征提取算法用于仅使用局部图像结构中已被选择为相似像素的部分来减少噪声。每个像素的原始值使用与其最接近的像素的加权平均值进行估算。

2.3模糊降噪滤波器

众所周知的非线性滤波器是模糊降噪方法(FNRM)[  53  ]。该方法背后的核心思想是使用其邻域内的像素但使用两个子滤波器对每个像素进行降噪。FNRM提供了非常成功的结果。但是，它的缺点是它尊重图像边缘，但以消除更少的噪声为代价。 为了克服这种滤镜的缺点，将线性和非线性方法相结合，以便利用它们各自的优点来消隐涉及细节的彩色图像。在[  15  ]中，图论被用来提出软交换图去噪方法(SSGD)，该方法结合了AMF和FNRM，其中AMF在同质区域中更相关，而FNRM更适合于处理细节。在[  40  ]中，该方法在计算上得到了改进。 在[  17  ]中介绍的过滤器基于像素的对等体组与相邻像素对等体组之间的差异给出检测规则。在[  33  ]中，使用每个像素的模糊对等体组的平均运算进行处理，这被称为模糊对等体组平均(FPGA)。其他方法已使用模糊逻辑或软切换策略，如那些在开发[  35 ，45 ]。基于加权平均的不同的优化方法被提出[  27 ，54 ]。过滤器的另一个重要家族是基于分区的过滤器 [  28 ，54 ]将要处理的每个像素分为几个信号活动类别，这些信号活动类别又与适当的处理方法相关联。

2.4各向异性过滤(PM)

所述Annisotropic过滤物通过佩罗娜和Malik(PM)[引入 39  ]。在那里，考虑了一种称为各向异性扩散的非线性自适应扩散过程。它的目的是使扩散系数具有双重目标：减少边缘附近的平滑效果以保留图像细节，同时平滑较平坦的区域。有几种受PM模型启发的方法，例如[  62  ]中的一种，其中显示了基于定向拉普拉斯算子的模型。

Guo等人[ 8 ]提出了一种自适应PM滤波器，能够将噪声图像分割为两个不同的区域，即内部区域和边界区域。然后根据我们所考虑的区域通过调整扩散来应用扩散。

2.5块匹配和3D过滤(BM3D)

在[  2  ]中，Dabov等人介绍了协作过滤策略，这可能是在基于块匹配的去噪中提供最令人印象深刻的结果的策略。此处介绍的方法称为块匹配和3D过滤(BM3D)。它基于通过将图像的相似2D片段匹配为3D数据矩阵的方式进行分组，以便为每个组使用不同的滤镜。有关匹配算法的详细信息，请参见[  12 ]。更准确地说，过滤是通过协作的非局部方法和变换域收缩的组合来实现的。可以归纳为3个步骤。首先，对每个3D组进行3D转换；其次，变换频谱的缩小；最后是3D逆变换。将此技术应用于亮度色度色空间的每个通道，例如YCbCr或YIQ。

2.6主成分分析(PCA)

根据方法主成分分析在空间域(PCA)已在图像去噪[被应用 37 ，57 ]。通过将输入数据转换到PCA域中，以便仅保留最重要的组件，该技术的使用使我们可以减少维数。Muresan和Parks建议将每个图像划分为多个小块，这些小块又被划分为多个子窗口，每个子窗口都有一个由相应子窗口的像素构建的关联矢量。然后，将PCA应用于这些向量以选择一些主要成分，这些主要成分随后将用于平滑[  36  ]。此方法已在[  67 ]，训练样本是通过在执行PCA之前使用局部像素分组(LPG)将具有相似局部空间结构的像素分组来选择的。另外，[  36  ]中的方法还启发了从单传感器数码相机获得的图像滤镜的开发，即彩色滤镜阵列(CFA)[  68  ]。

2.7小波方法

在图像场的平滑化中，小波表示已变得非常流行[  29  ]。它包括将图像信号分解为多个标度，分别代表其不同的频率分量。有很多小波家族，例如Haar，Daubechies，Coiflet，Symlet，Meyer，Morlet或墨西哥帽等。在这些方法中，通过使用去除细节系数的阈值对图像进行平滑处理。通过这种方式，在[  38  ]中提出了与硬标度有关的阈值。统计建模可以执行，而不是对阈值化的小波系数上工作，以抑制噪声[  31 ，43 ]。小波变换也可用于数据正则化，如[  9 ]。

2.8结果

在 图1 和2中，我们可以看到本节中报告的某些平滑滤波器的性能。它们已应用于受某些加性高斯白噪声破坏的经典Lenna和Parrots图像。与其他方法相比，BM3D方法可提供令人印象深刻的结果， 如图1中的  Lenna图像 所示 。PM平滑方法也具有良好的效果，因为它可以很好地平滑噪声，而不会丢失细节和边缘信息。但是，如果噪声水平很高，则PM会在图像中产生一些伪像，如我们在 图2中 的鹦鹉的PM滤波图像中所见。

3锐化

图像增强过程包括一系列技术，这些技术的目的是改善图像的视觉外观并突出显示或恢复图像的某些细节，以便由人或机器进行适当的分析。 在采集过程中，一些因素会影响图像质量，例如照明条件，环境压力或温度波动。为了增强图像，我们尝试对其进行转换以获取模糊的细节，或锐化某些令人感兴趣的功能。这些技术的大量应用包括医学图像分析，遥感，高清晰度电视，显微成像等。每种存在的这种存在意味着图像增强内的目标也将有很大的不同。特定的应用程序。在某些情况下，其目的是增强对比度，而在其他情况下，则强调图像的细节和/或边界。我们将最后一个过程称为锐化，尽管差异并不总是很明显。为每种目的选择最合适的技术将取决于要执行的特定任务，图像内容，观察者特征和观看条件。 在本节中，我们简要概述了主要的锐化技术。根据图像域，它们可以分为两个不同的组：基于空间的技术和基于频率的技术。在第一种情况下，我们直接对像素进行操作，而在第二种情况下，我们对图像的变换(傅立叶或小波)系数进行操作。在这里，只有在通过逆变换恢复图像后，才能注意到变换的效果。

3.1空间域技术

用于锐化图像的空间域技术基于像素值的操纵。改善它的方法之一是通过增加图像不同部分之间的对比度。 在空间域中有几种用于图像锐化的方法。直方图均衡(HE)是最著名的之一。它基于通过使用输入图像的直方图对对比度进行的调整。为了将较高概率的强度级别相对于其邻居级别分开，进行了操纵。在 图3中， 我们可以看到Lenna灰度图像的初始直方图，以及在图像上应用HE之后获得的初始直方图。在 图4中 ，我们可以看到与这些直方图相对应的输入和输出图像，以及HE方法如何在灰度图像上工作以增加全局对比度。

该技术在彩色图像中的应用并非简单的任务。直方图均衡是一个非线性过程，涉及图像的强度值而不是颜色分量。由于这些原因，分别分割和均衡每个通道不是均衡对比度的正确方法。因此，第一步是将图像的色彩空间从RGB转换为其他色彩空间，该色彩空间将强度值与颜色分量(例如HSV，YCbCr或Lab)分开，并分别应用于H，Y或L通道的均衡。在 图5中 我们可以看到在实验室空间中分别在R，G和B通道上以及在通道L上应用HE的结果。还有其他一些方法可以将直方图均衡化为色彩空间。其中最著名的就是3D直方图[  60  ]。

有很多工作试图改善HE技术，例如亮度双直方图均衡化(BBHE)[  19  ]，其中图像直方图被分为两个子直方图，它们随后被独立均衡。对偶子图像直方图均衡化(DSIHE)[  61  ]与BBHE类似，但是在这种情况下，中值用作参考的分离强度级别，以便将直方图分为两个子直方图。 与保持亮度的动态直方图均衡化(BPDHE)[  11  ]一样，我们通过使用高斯核并避免了与HE不同的峰的重新映射来平滑输入直方图。该技术在处理清晰的直方图时不会进行灰度值的不精确性。为了改进该技术，提出了BPDHE的模糊版本来处理灰度级的不准确性，这被称为亮度保持动态模糊直方图均衡化(BPDFHE)[  55  ]。在[  64  ]中对基于直方图的方法进行了更严格的研究。此外，我们可以找到一种以最大化预期对比度为目标的方法，称为最佳对比度色调映射(OCTM)方法。 前述方法不使用给定像素的空间信息邻居。它们仅限于使用图像所有像素的强度值。引入了基于局部直方图均衡化的方法，以通过使用本地信息来适应这些技术。通过这种方式，提出了对比度受限的自适应直方图均衡方法(CLAHE)，目的是通过在较小的数据区域上应用CLHE来调整图像的局部对比度，从而增强图像的对比度[  69 ]。局部获得的结果通过双线性插值连接在一起以获得输出图像。 我们可以在 图6中 看到将BPDFHE和CLAHE方法应用于Lenna图像的结果。如上所述，使用最后一种方法，我们通过局部方法提高了性能，该方法允许我们提取图像结构的更多信息。

空间域锐化中的另一种众所周知的技术是对比度拉伸(CS)，它基于修改动态范围，即动态图像的最小和最大强度值之间的范围，该范围在要处理的图像中为灰度[  65  ]。线性对比度拉伸(LCS)是最简单的对比度拉伸算法，它通过在整个图像光谱上扩展动态范围来拉伸低对比度或高对比度图像的像素值。该方法的缺点之一是某些细节可能由于饱和和削波而丢失。 在非锐利蒙版(UM)方法[  47  ]中，通过使用原始图像的高通滤波版本的一部分来计算边缘图像。将此边缘图像添加到原始图像中以形成增强图像。该方法的主要优点是操作简便，但是，该技术会产生很大的噪声放大，这通常会使该方法在实践中无用。已经提出了几种用于降低线性UM技术的噪声灵敏度的方法。这些方法中的许多方法都是基于在校正路径中使用非线性算子的。的二次过滤器，可近似表征为局部均值加权自适应高通滤波器在[描述 32 ，48]。在[  20  ]中描述了一种基于顺序统计拉普拉斯算子的方法。在[  46  ]中提出了一种防止在平坦区域锐化的自适应方法，该方法使该方法在存在噪声的情况下更加鲁棒。

3.2频域技术

频域技术基于诸如离散傅立叶(或余弦)变换或小波变换之类的变换的使用。我们提醒您，这些方法中的每一个都不都是唯一的，实际上，它们编译的方法族本质上是相同的，但是每个方法相对于其他方法都略有不同。它们的工作方式如下：首先，在使用其中一种方法处理了变换之后，我们应用了其中一种变换方法，最后，对处理后的图像进行了逆变换，从而得到了结果。 这种方法具有广泛的优势，可以区分图像中的不同区域。 较高的频率与边缘或细节有 关，而较低的频率与图像的平滑区域有关。 这种容易的分离允许根据目标适当地处理图像。 但是，这还包括我们无法区别地同时处理不同区域的细节。 平滑区域也会发生这种情况。 近年来，小波理论已成为一种强大的图像处理工具，该技术为我们提供了图像空间和频率信息。的图像的增强可以通过从图像[加入高通或是从其减去低通滤波版本来获得 29 ，30 ]。文献[  26  ] 报道了小波域中对比度锐化的早期工作之一，其中将参数化双曲函数应用于小波系数的梯度。从那以后，在小波域中已经开发了许多作品。例如，Loza等。提出了一种基于小波系数局部分散的非线性增强方法[  25 ]。该算法基于图像小波系数的局部统计，自适应地增强图像的对比度。 使用在一个黑暗的图像的内部噪声的缩放对比度增强技术离散余弦变换(DCT)域在[开发 13 ，14 ]。它基于一种称为动态随机共振(DSR)的物理概念，该概念使用噪声来提高系统的性能[  6  ]。所提出的算法通过在图像的DCT系数上迭代应用DSR方法来增强彩色图像的对比度。在[  1  ]中也提出了基于小波域的DSR方法。基于DSR的技术主要集中于增强，而不是锐化图像的边缘或细节。当应用于弱光图像时，它们可以提供更好的效果。

3.3结果

在 图7中， 我们可以看到鹦鹉图像的UM和CLAHE方法的输出。我们还可以看到它们的细节区域的放大图像，在那里我们可以欣赏到边缘的锐化效果。这是锐化技术的一个示例，与 图6 中所示的示例相反，后者是与对比度增强紧密相关的方法。可以在 图7中对 它们进行比较，我们可以看到使用CLAHE对比对比度增强和使用UM锐化的示例。

4彩色图像的平滑和锐化

在本节中，我们讨论共同考虑平滑和锐化的技术。我们想到的第一个想法是通过两个不同的步骤处理图像：首先，通过执行一个操作，然后对处理后的图像进行第二个处理。在这里，我们执行操作的顺序可以极大地改变输出。如果在平滑之前进行锐化，则可以增加图像噪声的相关性，这会使平滑任务复杂化。相反，如果在锐化之前进行平滑处理，则可能会在平滑过程中丢失锐化方法无法恢复的信息。通常，第二种方法通常可以提供更好的结果，但是，它仍然不是最佳解决方案。是因为，

4.1两步法

平滑和锐化的两步方法取决于两种方法的顺序应用，每种方法之一。在 图8中， 我们可以比较基于BF的平滑两步方法和基于CLAHE的锐化两步方法。在第一种情况下，我们从BF开始，在第二种情况下，从CLAHE开始。最后一种方法适用于 图9中 模糊的Lenna和Parrot图像。

我们已经看到了使图像平滑并随后在去噪后的图像上应用锐化技术的结果。第一步，我们丢失了大量有关该图像的信息，然后第二步不足以恢复丢失的信息。为克服此缺点，我们可以首先应用锐化，然后在第二步中对图像进行平滑处理。两种方法的结果都可以在 图8 和9中看到。 在[  21  ]中提出了用于对低光彩色图像进行平滑和锐化的统一两步方法的另一个示例。这里也应用了两个不同的步骤。BM3D过滤器与结构过滤器结合使用以进行平滑。然后，施加亮度自适应对比度以便锐化平滑图像的细节。

4.2同时进场

尽管平滑和锐化显然是相反的操作，但是同时使用这两种技术的必要性不断增加。两者都经过了广泛的研究，每种工艺开发的技术都大不相同。但是，如果我们谈论同时进行两项操作，则不会发生这种情况。就能够在消除噪声的同时锐化细节的方法而言，现有技术水平仍相对降低。在本节中，我们介绍其中一些技术。 两种平滑和锐化技术(例如PM和CLAHE)已通过同步算法[  4  ] 同时进行了组合[  4  ]，在此我们可以从基于它们的相应两步方法中得到改进。该方法利用了这些原始模型的优势，并将其结合起来，为医学图像，尤其是磁共振图像，构建了一个好的工具。 如我们在4.1节中所见，PM基于非线性前向扩散过程，该过程由扩散变量控制，该扩散变量允许控制图像的平滑效果。以此方式，试图使用向后扩散以获得清晰的图像是很诱人的。然而，向后扩散是不稳定的并且是不适定的问题。尽管如此，Gilboa等。结果表明，有可能将向前和向后的非线性扩散过程结合起来以获得向前和向后的扩散过程[  7  ]。FAB能够在消除噪音的同时锐化细节。考虑根据局部梯度和不均匀性对局部扩散程度进行自适应控制，以引入局部方差控制的前向和后向(LVCFAB)[ 63  ]。 然而，与向后扩散过程相同，FAB扩散是不稳定且不适当的。为了克服该缺点的Vadim和约书亚提出了使用的通信机-扩散(TED)[  49 ，50 ]，而不是扩散方程，产生了稳定的平滑和锐化的方法，称为(TED-FAB)。 在[  3  ]中，作者提出将BM3D与应用于块的变换域锐化技术相结合，以在去除噪声时进行锐化。我们将这种方法称为(BM3DSharp)。 我们还可以找到具有双重目的的基于模糊的方法。俄提出，在[  51 ，52 ]，一个模糊神经网络技术，它由一种采用模糊网络以结合锐化和平滑的多输出处理系统上。特别是，三个模糊网络被组合在一起。第一个和第三个平滑图像，而第二个则负责锐化。前述方法可以在比较 图10 ，11，和 12 。

正如我们已经提到的，由于UM使用固定的锐化强度，因此具有增加均匀区域中的噪声以及无法锐化所有细节的缺点。为了克服这个缺点，并在锐化边缘的同时消除噪声，Kim等人在此进行了介绍。已经开发了一种自适应的不锐化蒙版，称为最佳不锐化蒙版(OUM)[  18  ]。它基于UM的经典方法，但根据局部边缘强度更改其参数。 在[  66  ]中，提出了一种基于经典BF 的自适应双边滤波器(ABF)。通过集成移位变量技术来重新构造BF，以增加边缘的斜率并平滑噪声。ABF表现出与OUM类似的锐化性能，但没有产生OUM的伪像。此外，ABF的噪声抑制比OUM更好。但是，ABF显着增加了计算复杂度，与窗口大小成正比。 为了克服这个问题，一个适应性研究指导图像过滤(AGF)，结合了引导与所述移变技术滤波器，已经在[提出 41 ，42 ]。 简而言之，导引滤波器是线性平移变量滤波器，其中每个像素都由导引图像(输入图像或另一个图像)的线性变换代替。Saini等。提出了对ABF的修改，首先考虑具有相似结构的群集中的图像分割[  58  ]。该聚类基于描述图像局部结构的特征。分割后，将使用加权均值处理每个像素，该加权均值使用相应聚类的双边权重。 还提出了基于小波的方法来同时处理平滑和锐化。在[  24  ]中，通过双树复数小波变换(DT-CWT)将HSV空间上的图像转换为小波域，其中对小波系数进行调整以获得平滑和增强的图像。在这方面，Li-na等人。应用的小波方法在HSV空间中对图像进行彩色处理[  22 ]。他们的方法利用每条运河的特性来获得所需的结果。这样，通过使用RGB空间的最大值和最小值，可以根据简单的转换对饱和通道进行平滑处理。通过使用小波阈值，亮度通道变得平滑，并且还可以通过压缩图像的低频来增强亮度通道。最后，色调通道保持不变。 在[  10  ]中，作者对Y IQ空间中的图像应用了平滑和锐化过程。此方法取决于每个像素的表面纹理，以便在锐化细节的同时平滑图像的平坦区域。这是通过将Y图像分为平坦区域和边缘区域的高斯导数滤波器的组合来完成的。第一个使用高斯导数运算符进行锐化，第二个使用SUSAN方法进行平滑处理。 在[  23  ]中执行了基于图拉普拉斯算子的组合方法，其中输出图像是具有两个不同术语的函数最小化问题的解：一个是用于图像平滑的标准稀疏编码公式，另一个是允许借助拉普拉斯算子可以使图像锐化。

5.结论

本文探讨了去除彩色图像中高斯白噪声的主要技术。另外，我们还回顾了在空间和频域上用于彩色图像平滑和锐化的典型技术。 两种操作的性质相反，使图像平滑的目的是消除噪声。但是，锐化的目的相反，因为它试图强调细节。这些技术负责产生更多可见的变化以及图像的细节或边缘。我们已经看到，由于丢失一些相关信息或加剧了噪声，两种技术在两个步骤中的应用，一个接一个地进行，会产生错误的结果。 同时满足两个目标的方法数量减少，在于将这些看似矛盾的过程相结合的难度。我们报告了这些方法中最引人注目的。