BRDNet（Image denoising using deep CNN with batchrenormalization）是一篇用来做图像去噪的论文，原论文地址：https://www.researchgate.net/publication/335646598_Image_denoising_using_deep_CNN_with_batch_renormalization # 摘要 深度卷积神经网络（CNN）在图像去噪领域引起了广泛关注。但是，它目前仍有两个缺点：（1）训练一个更深层次的用于图像去噪任务的CNN非常困难；（2）大多数更深层次的CNN都深受性能饱和问题的困扰。本文介绍了一个全新网络的设计，我们将这个网络命名为批量重规范化去噪网络 (BRDNet)。具体来说，我们将两个网络组合起来以增加整体网络的宽度，并因此提取到了更多特征；由于BRDNet 中融合了批量重规范化操作，我们可以解决内部协变量转移和小批量问题。而为了促进网络的训练，我们还在网络整体上应用了残余学习。我们还使用了扩张卷积以提取更多信息用于去噪任务。大量实验结果表明，BRDNet在当前的图像去噪方法中表现出了最优的效果。BRDNet的源码发布在http://www.yongxu.org/lunwen.html网站中。 关键词：图像去噪 卷积神经网络 残余学习 批量重规范化 扩张卷积 # 1. 引言 图像去噪旨在从噪声图像中恢复出干净的图像，这是计算机视觉中经典的逆问题。由于图像去噪技术能够很好地恢复原始图像并修复细节，它们被广泛应用于各大领域，比如遥感图像领域(Du, Wei, & Liu, 2019)和医学图像领域(Li, Yin, & Fang, 2012)。对于一张含噪声的图像 y，图像去噪的问题可以用y = x +υ表示，其中x是原始图像（也称为清晰图像），υ表示具有标准差σ的加性高斯噪声（AWGN）。从贝叶斯规则的角度来看，基于图像先验的方法是图像去噪的良好选择。例如，块匹配（BM）加三维(3D)滤波的方法(BM3D)利用协同变换来增强图像去噪时的稀疏性 (Dabov, Foi, Katkovnik, & Egiazarian, 2007)；同时使用基于字典学习的稀疏表示和基于自相似性的非局部方法可以从噪声图像中去除噪声(Mairal, Bach, Ponce, Sapiro, &Zisserman, 2009)；非局部集中稀疏表示方法(NCSR)集中了稀疏编码以抑制稀疏编码噪声(Dong, Zhang, Shi, & Li, 2013)；加权核范数最小化方法(WNNM) (Gu, Zhang, Zuo, & Feng, 2014)，马尔可夫随机场方法(MRF) (Barbu, 2009a, 2009b; Malfait &Roose, 1997)，梯度方法(Beck & Teboulle, 2009; Zuo,Zhang, Song, Zhang, & Gao, 2014)和总变分(TV)方法 (Chambolle, 2004; Rudin, Osher, & Fatemi, 1992)等都是非常流行的图像去噪方法。 尽管上述方法在图像去噪方面表现出了优异的性能，但是这些方法中的大多数都面临着两大挑战 (Zhang, Zuo, Chen, Meng & Zhang,2017)：（1）需要手动调整惩罚参数；（2）优化算法比较复杂。深度学习技术，尤其是卷积神经网络(CNNs) (Lin, Milan, Shen, & Reid, 2017)，由于具有强大的自适应学习能力，已经成为解决这些问题的最受欢迎的方法 (Dong, Loy,He, & Tang, 2016; Kim, Kwon Lee, & Mu Lee, 2016a; Tai, Yang,& Liu, 2017)。具体来说，最近提出的深度卷积神经网络已经被广泛应用于图像恢复工作 (Lai, Huang, Ahuja, &Yang, 2017)。例如，通过一个卷积神经网络，可以将低分辨率的图像直接映射成高分辨率的图像 (Dong et al., 2016)；在卷积神经网络中结合残差和迭代的思想可以提高对图像做超分辨率时的表现(Tai et al.,2017)；将卷积神经网络和优化方法结合也能很好地用于图像超分辨率工作 (Ren, He, & Pu, 2018;Wang, Liu, Yang, Han, & Huang, 2015)；增加网络的多样性对于图像恢复也非常有效 (Zhang,Tian, Kong, Zhong, & Fu, 2018)；带有先验知识的卷积神经网络可以很好地处理带有真实噪声的图像(Zhang, Zuo, Gu & Zhang,2017)；优化网络体系结构也是图像恢复工作的主流方式 (Jiao, Tu, He, & Lau, 2017)。尽管上述深度网络方法可以提升图像去噪的表现，但是大多数方法都深受性能饱和的影响 (如梯度消失或梯度爆炸)(He, Zhang, Ren,and Sun (2016))，而且训练一个深度神经网络有一定难度(Ioffe& Szegedy, 2015; Pascanu, Mikolov, & Bengio, 2013)。此外，他们带有批量规范化 (BN) (Ioffe &Szegedy, 2015)的那部分网络在训练批次较小时会导致一些错误，上述的一些方法在进行图像恢复时还具有非常高的计算成本。 本文提出了一种新的图像去噪网络---批量重规范化去噪网络(BRDNet)。首先，BRDNet结合了两个网络来增加它的宽度，并因此获取到更多的特征用于图像去噪；其次，BRDNet使用了批量重规范化操作(BRN) (Ioffe, 2017) 来解决小批量问题，并采用了具有跳连接特点的残余学习（RL） (He et al., 2016)来获取清晰的图像；最后，为了降低计算成本，网络中还多次使用了扩张卷积操作(Dilated Conv) (Yu & Koltun, 2015) 以捕获更多的特征。此外，大量实验表明，本文提出的BRDNet在去噪效果上优于之前提出的SOTA方法，比如：一种用于去噪的卷积神经网络 (DnCNN) (Zhang, Zuo, Chen et al.,2017)、一种快速灵活的图像去噪网络 (FFDNet) (Zhang, Zuo,& Zhang, 2018a)和一种用于图像修复的卷积神经网络 (IRCNN) (Zhang,Zuo, Gu & Zhang, 2017)。另外，BRDNet的扩展版本对合成噪声和真实噪声的图像也有很好的去噪效果。 本文提出的包含BRDNet在内的方法具有以下贡献： （1）提出了一种新型的用于图像去噪的卷积神经网络，可以基于它从噪声图像中直接获取清晰图像。与现有的基于卷积神经网络的去噪方法不同，该网络增加了宽度而非深度以增强去噪网络的学习能力。 （2）在图像去噪过程中使用了批量重规范化操作，它可以解决小批量问题。而且它还可以加速网络训练时的收敛，对于任何一个硬件平台来讲，它也不需要其他运行条件。因此，对于像GTX 960 和GTX 970这种低配置硬件，结合BRN和CNN来进行图像去噪是一个不错的选择。 （3）BRDNet使用了扩张卷积来增大感受野，这使得网络能够提取到更多的上下文信息并降低计算成本。此外，它还可以防止梯度消失和梯度爆炸。另外，残余学习可以进一步提高图像去噪的性能。 （4）实验结果表明，BRDNet对于合成噪声和真实噪声的图像都具有去噪鲁棒性。 本文的其余部分组织如下：在第2节中，我们介绍了所提出方法的相关技术；在第3节，我们介绍了所提出的方法；在第4节中，我们给出了该方法的实验结果；在第5节中，我们给出结论。 # 2. 研究现状 ## 2.1 用于图像去噪的深度卷积神经网络 对于图像去噪问题，基于深度卷积神经网络的方法非常受欢迎。例如，(Zhang, Zuo, Chen et al., 2017)提出的具有17层的DnCNN 就是一个基于卷积神经网络预测噪声的方法，它通过堆叠多个卷积层、一个跳连接和批量规范化(Ioffe& Szegedy, 2015)操作提高了图像去噪表现；(Zhang et al., 2018a)将卷积神经网络和先验知识进行结合有效解决了盲去噪的问题；(Zhang, Zuo, Gu & Zhang, 2017)采用一种带优化的判别学习方法来处理含真实噪声的图像；(Kligvasser, Shaham,& Michaeli, 2017)通过改进空间激活函数来降低图像去噪的计算成本；最近 (Chen, Chen,Chao, & Yang, 2018)提出的将生成性对抗网络(GAN)用于图像去噪的方式也非常流行；(Cruz, Foi, Katkovnik, & Egiazarian, 2018;Dong et al., 2018; Zhang & Zuo, 2017)提出的带有先验知识的CNN对于某些特定类型的噪声也非常有效；CNN在其他应用方面也非常鲁棒，比如(Latif, Iskandar,Alghazo, Butt, & Khan, 2018)将其用于医学图像处理；前面提到过的由(Si-Yao et al., 2018)提出的基于卷积神经网络的深度网络也得到了比BM3D更好的去噪表现。受此启发，我们使用深度卷积神经网络进行图像去噪。 ## 2.2 批量重规范化 据我们所知，端到端的连接方式是卷积神经网络能够成功的一个重要因素。一个卷积神经网络通常包含激活函数 (Krizhevsky,Sutskever, & Hinton, 2012)，池化操作 (He, Zhang, Ren,& Sun, 2014)，初始参数设置 (He, Zhang, Ren, & Sun,2015)，基于梯度的优化方法(Kingma & Ba,2014)和卷积核等。虽然与多层感知(MLP)等传统方式相比，这种可组合的部分可以提高图像应用方面的表现，但是在经过卷积运算后，训练数据的分布会发生明显的变化。而且训练数据量越大，预测结果就会越不准确。为了解决这个问题， (Ioffe & Szegedy, 2015)提出了批量规范化操作。批量规范化方法使用规范化操作、尺度变换和移位操作来解决内部协变量偏移问题。该方法不仅可以防止梯度爆炸或梯度消失，加快网络训练的收敛速度，还可以提高网络性能。但是， (Ioffe, 2017)指出批量规范化方法对于小批量操作是无效的，这严重限制了其在图像检测和视频跟踪等方面的应用。而由于批量重规范化使用单个样本而不是整个小批量数据来近似训练数据的分布，它可以有效解决批量规范化目前存在的困境。受此启发，批量重规范化方法应该能有效解决小批量和非数据独立同分布小批量(non-i.i.d. mini-batch) 问题，后者是指同一个小批量内的样本数据各自之间不是独立的，或者不满足同一个分布，这会使得机器学习或深度学习的方法表现很差。如果要获取更多关于批量重规范化的信息，请参考Ioffe(2017)。总之，对于图像去噪问题，基于批量重规范化的卷积神经网络是一个非常好的选择。 ## 2.3 残余学习和扩张卷积 残余学习是He et al. (2016)为了在增加网络深度和解决网络性能下降问题之间实现折衷而提出的方法。它将提取出的特征和多个叠加层的输入融合在一起作为当前层的输入，这可以解决梯度消失和梯度爆炸问题。为此，针对低层次视觉任务，人们提出了多种残余神经网络 (ResNet)(Kim, Kwon Lee, &Mu Lee, 2016b; Kokkinos & Lefkimmiatis, 2018)。例如，(Kim et al., 2016b)为图像修复任务设计的 VDSR网络就利用了全局残余学习(GRL)。全局残余学习和梯度剪裁使得VDSR能加速收敛；(Kim et al., 2016a)提出的深度递归卷积网络(DRCN)结合递归机制和全局残余学习解决了图像恢复工作中的过拟合问题；(Tai et al., 2017)提出的一种深度递归残余网络(DRRN)则集成了全局残余学习、局部残余学习和递归学习，提高了图像修复表现。 提取更合适的特征对于图像识别 (Fei, Lu, Jia, Teng, & Zhang, 2018; Guo, Wu, & Xu, 2017; Lu,Yuan, Zhu, & Li, 2018; Wen, Fang, Xu, Tian, & Fei, 2018; Wen,Xu, Li, Ma, & Xu, 2018)、图像分割 (Long, Shelhamer, &Darrell, 2015)、目标检测 (Chu, Wu, Gu, & Xu, 2017)、图像去噪 (Du et al., 2017)和图像超分辨率处理(Zhang,Zuo, Chen et al., 2017; Zhang et al., 2018a)都很重要。传统的卷积神经网络使用池化操作来降低原始图像的维数。但是，池化后的结果会存在一定的信息丢失。解决这一问题的有效方法之一是扩大感受野。扩大感受野的流行方法是增加网络深度和滤波器的尺寸。但是，增加深度可能会导致网络性能下降；增加滤波器的尺寸会增加网络的参数数量和计算成本。最近(Yu & Koltun, 2015)提出了采用3x3滤波器大小的扩张卷积和更深的深度解决了上述感受野的问题。<span style="color:red">扩张卷积的感受野尺寸可以用扩展因子f和扩张卷积层数n来计算，即 (4n + 1)×(4n + 1)。例如，当f=2、n=10时，所设计的网络就有5层滤波器大小为3x3的扩张卷积层，网络顶层的感受野大小就是41x41，这和一个有20层深度的普通卷积神经网络是相同的。（译者注：无法根据该方法计算感受野大小，怀疑原论文表述不清，正在查证中。原文：The receptive field size of a dilated convolution can use the dilation factor f and number of dilated convolution layers, n, as (4n + 1)×(4n + 1). For example, the designed network has five dilated convolution layers with 3 × 3 filters when f = 2 and n = 10, and the receptive field size of the network is 41 × 41, which is equivalent to a common CNN with 20 layers. ）</span>因此，扩张卷积技术具有广阔的应用前景。现有研究表明，扩张卷积对图像去噪也有很好的效果 (Wang, Sun, & Hu, 2017)。然而，一些学者在低层次视觉任务中忽略了批量重规范化、残余学习和扩张卷积的组合使用。 # 3. 基于卷积神经网络的图像去噪方法 在本节，我们针对图像去噪任务提出了基于卷积神经网络的BRDNet。针对特定任务训练一个深度卷积神经网络通常包含两个阶段：网络设计和利用训练样本进行模型学习。在网络结构设计上，我们通过连接两个卷积神经网络设计出了一个新的网络；而在模型学习部分，我们将批量重规范化、残余学习和扩张卷积集成进了所设计的网络，并据此训练一个图像去噪模型。 ## 3.1 模型结构 通常，不同的网络结构可以提取不同的特征(Zhang et al., 2018)。这些提取的特征在图像去噪中是互补的。对于图像去噪任务来说，增加网络宽度以提高性能是一个很好的选择。因此，如图1所示，我们提出了一个基于两个网络的新型网络。我们将其命名为BRDNet，它 由两个不同的网络组成：上层网络和下层网络。上层网络只包含残余学习和批量重规范化，下层网络则包含批量重规范化、残余学习和扩张卷积。众所周知，所设计的网络感受野越大，就需要更高的计算成本。因此，我们选择了一个网络（下层网络）并在其中应用了扩张卷积。考虑到网络性能和效率的平衡，下层网络的2\~8层、10\~15层使用了扩张卷积以捕获更多的上下文信息。第1、第9和第16层使用了批量重规范化对数据进行规范化操作，以使两个子网络的输出保持相同的分布。此外，批量重规范化操作对小批量任务非常有用，这对于GTX960和GTX970这种低配置硬件平台非常有益。其次，双通道网络中应用了残余学习技术以提高其表现。上述每种技术的有效性都经过了实验证实（见4.3节）。网络的性能在第4节中进行了阐述。BRDNet的详细信息将在后一节进行介绍。 上层网络（也叫做第一个网络）的深度是17。它由两种不同类型的层组成：Conv+BRN+ReLU和Conv，Conv、BRN、和ReLU分别指卷积层、批量重规范化和线性调整单元。Conv+BRN+ReLU 指卷积层、批量重规范化和线性调整单元是按顺序实现并执行的。第1到16层都是Conv+BRN+ReLU，第17层是Conv。除了第一层和最后一层，每层的尺寸都是64×3×3×64，第一层和最后一层的尺寸分别为c×3×3×64和64×3×3×c，其中c指图片通道数。在这里，c = 1和c = 3分别表示灰度和彩色图像的像素通道数。 在扩张因子的帮助下，感受野可以从上下文中捕获更多信息。例如，当第一个网络中的扩张因子为1时，感受野大小为(2l+1)×(2l+1)，其中l为层数。此外，图1中的⊕指本文中残余学习思想的实现，实际上即指BRDNet中的减法运算（噪声图像 - 噪声 = 清晰图像）。图中的“Concat”操作被用来通过各自的通道连接BRDNet中的两个子网络。例如，如果上述两个子网络的输出大小为64 × 3 × 3 × c，则通过级联操作后它们的组合输出大小为64 × 3 × 3 × 2c。 我们将深度为17的下层网络称为第二个网络。第二个网络的第1、第9、第16层是Conv+BRN+ReLU，第2\~8层和第10\~15层都是扩张卷积操作，最后一层是Conv。每层的滤波器大小与第一个网络对应的滤波器大小相同，但是，由于扩张因子是2，第2\~8层和第10\~15层能够从更广的感受野中获取到更多的信息。具体来说，对第2\~8层和第10\~15层，他们的感受野尺寸可以分别用(4n+1)(4n+1)来进行计算。最终，这17层结构各自的感受野分别是3、(7、11、15、19、23、27、31)、33、(35、39、43、47、51、55、59)和61。这达到了和具有相同滤波器大小设置但是需要有30层结构的网络相当的表现。换句话说，扩展卷积可以降低图像去噪时的计算成本。而且，扩张卷积和两个子网络还可以降低网络深度。BRDNet只有18层，这相对较浅，不会导致梯度消失或者梯度爆炸。 如上所述的BRDNet有四个优点：（1）通过使用两个子网络来增加网络宽度而不是深度来提高去噪性能；（2）使用BRN解决了小批量和内部协变量偏移问题；（3）应用残余学习防止了梯度消失或梯度爆炸；（4）利用扩张卷积降低了计算成本。实验结果表明，BRDNet比其他如DNCNN、FFDNet和IRCNN这些SOTA去噪方法更有效，这证明了我们提出的网络的有效性。在4.3节，我们给出了残余学习、BRN、和扩张卷积对BRDNet各自贡献的测试结果。 ## 3.2 损失函数 受GooLeNet 和DnCNN的启发，我们在研究中选择了均方误差 (MSE)来获取网络的最优参数。设x为清晰图像，y为噪声图像，对于给定的训练数据集 ${\{ x_{j},y_{j}\}}_{j = 1}^{N}$，BRDNet使用RL来获取模型并预测残差图像f(y)，其中f(y)指噪声的映射。之后，我们通过 x = y − f (y)操作将噪声图像转换为清晰图像。换句话说，我们有f (y) = y − x，并且训练样本近似地满足这个等式，具体的，可以利用 (Kingma & Ba,2014)提出的Adam优化器最小化下述损失函数来获取最优参数： <img src="http://luxuff.cn/upload/2021/06/brdnet_e1-f3e9a9d7601448b69ad418183e18ebca.png" style="width:60%;height:60%"></img> 其中，N指噪声图像块的数量，θ指模型的参数。通常，图像的不同区域具有不同的结构信息，因此，噪声图像块比整个噪声图像更容易用来学习特定位置的特征 (Zoran & Weiss, 2011)。此外，与使用整个噪声图像相比，使用噪声图像块可以显著节省内存并降低计算成本(Zoran & Weiss，2011)。如等式1所示，目标函数与噪声图像y、清晰图像x和残差图像f(y)是相关的。 ## 3.3 批量重规范化、扩张卷积和残余学习的集成 BRDNet的一个优点是是将两个不同但互补的网络结合到一起来进行图像去噪。如图1所示，第一个网络主要包括BRN和残余学习。第二个网络则集成了BRN、扩张卷积和RL。从图1可以看出，BRDNet可以通过预测具有标准差σ（σ=75）的加性高斯白噪声来获得潜在的清晰图像。即首先用BRDNet来预测噪声υ，然后用获得的噪声υ来产生清晰图像x。设计的网络遵循以下规则。 首先，已知太深的网络容易导致梯度消失或梯度爆炸。因此，我们设计了一种称为BRDNet的新型网络，它使用两个不同的子网络来减小网络的深度并获得更多的特征。由于深度减小，将不会导致梯度消失或梯度爆炸问题。 第二，经过卷积核的运算后训练数据的分布将被改变。BN曾被考虑作为解决这一问题的不错选择。但是，当训练时的批次很小时，它并不是非常有效，这限制了它的应用。在实际应用中，许多硬件设备可以运行具有高计算复杂度的程序，但是内存有限。因此，我们使用BRN替代BN来规范化训练数据，并提高了去噪网络的收敛速度。BRN的原理见(Ioffe, 2017)。 第三，已知深度网络可以提取更为准确的特征。但是，深度网络会丢失一些上下文信息。因此，我们在BRDNet中采用了扩张卷积来扩大感受野并捕获更多上下文信息。具体来说，扩张卷积可以用更少的层来达到和其他方式但更多的层相同的效果。从之前的研究可以知道增加网络的宽度可以提取更多的特征(Szegedy et al., 2015)，因此BRDNet的网络结构（称为双通道网络）增加了宽度而不是深度以提取更鲁棒的特征。所以，双通道网络和扩张卷积的组合对于改进图像去噪性能非常有效。而且网络深度的减小可以防止梯度消失或梯度爆炸。这样一来，BRDNet就可以降低计算成本。而下层网络的卷积操作都为扩张卷积，这使得两个子网络可以产生互补的特征，并提高网络整体的泛化能力。与诸如FFDNet 和IRCNN这些很深但单一的网络相比，尽管两个子网络并不含有很深的深度，但将他们进行集成，网络仍然可以表现得很好。在我们看来，扩张卷积在增加感受野的大小方面具有与深层网络相似的功能。最后，我们在BRDNet中使用了RL来再次提高性能。 <img src="http://luxuff.cn/upload/2021/06/brdnet_a1-150643b53bdb41cc9e50b09b772e8bbc.png" style="width:60%;height:60%;"></img> # 4. 实验结果 在本节，我们主要从以下方面介绍实验结果：数据集、实验设置、组件分析、BRDNet对灰度合成噪声图像、彩色合成噪声图像以及真实噪声图像的去噪效果、运行时间。首先，我们给出BRDNet的参数，然后我们证明本文中阐述的几种主要技术的有效性。之后，我们给出BRDNet在BSD68和Set12 (Roth & Black, 2009)公共数据集上针对灰度合成噪声图像的去噪表现。我们选择了几种当前用于灰度合成噪声图像去噪的SOTA方法来和我们提出的方法进行对比，它们是：BM3D (Dabov et al.,2007), WNNM (Gu et al., 2014), MLP (Burger, Schuler, & Harmel-ing, 2012), trainable nonlinear reaction diffusion (TNRD) (Chen &Pock, 2017), expected patch log likelihood (EPLL) (Zoran & Weiss,2011), cascade of shrinkage fields (CSF) (Schmidt & Roth, 2014),DnCNN (Zhang, Zuo, Chen et al., 2017), IRCNN (Zhang, Zuo, Gu& Zhang, 2017) 和FFDNet (Zhang et al., 2018a)。 为了测试我们这个方法的表现，我们使用经过(Zhang, Zuo, &Zhang, 2018b) 验证的峰值信噪比 (PSNR)和视觉效果来验证去噪效果。去噪方法在测试数据集上得到的PSNR值越大，该方法的去噪效果就越好。此外，为了阐明去噪图像上的视觉效果，我们通过放大获得的潜在清晰图像中的一个区域来进行展示。我们认为，放大的区域越清晰，该测试方法就越有效。特别的，PSNR = $10 \ast \log_{10}{(MAX)}^{2}/MSE$, 其中MAX表示每幅图像中的最大像素值。请注意，在图3至图8中，MAX为1.0。我们用均方误差来表征真实清晰图像和预测清晰图像之间的误差，它的计算方式为：$MSE = \frac{1}{n}\sum_{j = 1}^{n}{\sum_{i = 1}^{n}{\{ x_{j}^{i} - y_{j}^{i}\}}^{2}}$ ，其中，$x_{j}^{i}$ 和 $y_{j}^{i}$ 分别指给定清晰图像和恢复的清晰图像中点（i，j）的像素值。在4.5节中，为了给一个例子，我们假设从cc数据集中取的真实清晰图像是 xx，而利用BRDNet去噪模型获得的相应恢复后清晰图像为yy。MAX是xx和yy之间的最大像素值。因此，他们的PSNR值可以通过PSNR =$10 \ast \log_{10}{(MAX)}^{2}/MSE$来进行计算。之后，我们展示了BRDNet在彩色合成噪声图像去噪方面的表现。我们还给出了我们的方法和几种流行方法在对真实噪声图像进行去噪的测试结果。具体来说，针对合成噪声和真实噪声图像，我们参照 Xu, Zhang, and Zhang (2018),Zhang, Zuo, Chen et al. (2017), Zhang, Zuo, Gu and Zhang (2017)和Zhang et al. (2018a)这些具有竞争性的方法，取得了令人信服的去噪结果。最后，我们测算了计算成本，结果表明我们的方法也很有竞争力。 ## 4.1 数据集 ### 4.1.1 训练数据集 对于图像的高斯噪声去噪问题，我们从Waterloo Exploration数据集中选择了3859张图片来训练模型。训练图片被分割为20×58,319张bmp格式的小块，块图像大小设置为50×50。这样设置的原因如下：我们设计的网络由两个子网络组成，他们的深度都是17，BRDNet的深度是18，第一个网络的顶层感受野大小是 2×17 + 1 = 35，第二个网络的顶层感受野大小是61。如果图像块的尺寸比感受野的尺寸还大得多，所设计的网络就会消耗更多的计算成本。因此，我们将两个子网络感受野尺寸的平均值作为BRDNet的感受野大小，即\[(35+ 61)+ 2\]/2 = 49。在本文中，我们将图像块的大小设置为50×50（50>49）。请注意，图像块大小设置为50，这将比第二个网络的感受野尺寸还小，它将不能完全映射到第二个子网络上。但是它比第一个网络的感受野尺寸大，这将为第二个网络提供互补信息。因此，为了在网络效率和性能上取得折衷，将图像块大小设置为50是合适的。 对于真实噪声图像去噪问题，我们从Xu, Li, Liang, Zhang, and Zhang (2018) 的工作中选择了100张图片来训练模型。这些真实噪声图像由不同的摄像机进行拍摄，比如Canon5D Mark II, Canon 80D, Canon 600D, Nikon D800和Sony A7II，这些相机的传感器尺寸和拍摄场景都是不同的。训练数据被分割为423,200张bmp格式的图像块。图像块尺寸和灰度以及彩色图像块尺寸是一样的。 ### 4.1.2 测试数据集 对于灰度噪声图像去噪问题，我们使用高斯白噪声训练去噪模型。根据DnCNN 和FFDNet方法，我们选择Berkeley segmentation dataset 68(BSD68)和Set12 (Roth & Black, 2009) 作为测试数据集。BSD68数据集包含68张481 × 321或 321 × 481大小的自然场景图像。Set12则包含12张灰度图像。 对于彩色噪声图像去噪问题，我们使用CBSD68, Kodak24(Franzen, 1999)和McMaster来测试BRDNet的图像去噪效果。CBSD68包含68张背景和BSD68一样的彩色图像。Kodak24 则由24张尺寸为500 × 500的自然场景图像组成。McMaster由18张尺寸为500×500的彩色图像组成。 众所周知，真实噪声图像通常由具有不同ISO值的不同类型的相机进行拍摄(Plotz &Roth, 2017)。受这一事实启发，我们选择由 (Nam, Hwang,Matsushita, & Joo Kim, 2016)构建的cc数据集（如图2所示）作为对真实噪声图像去噪的测试数据集。cc数据集有15张噪声图像，分别由Nikon D800, NikonD600和Canon 5D Mark III三种不同的摄像机（ISO 值分别为1600,3200, 和6400）拍摄。  <div align="center"><strong>Fig. 2.</strong> Twelve images from the cc dataset.</div> ## 4.2 实验设置 针对灰度合成噪声、彩色合成噪声和真实噪声图像去噪，BRDNet的深度都设值为18。如等式1所示的目标函数被用来预测残差图像。我们将学习率设置为1 × 10−3，beta\_1设为0.9，beta\_2 设为0.999，epsilon设为1 × 10−8，并利用He et al. (2015)提出的方法来初始化网络权重。mini-batch设置为20，训练的epochs设为50，这50个epochs的学习率将从1 × 10−3逐渐缩小到1 × 10−4。 我们使用(Chollet et al., 2015) 提出的Keras 工具包来训练我们所提出的BRDNet 去噪模型。所有实验都在Ubuntu 14.04 和Python 2.7环境下进行。运行设备配置为：Intel Core i7-6700 CPU, 16 GB RAM和 Nvidia GeForce GTX 1080Ti graphical processing unit (GPU)，显卡驱动程序为Nvidia CUDA of 8.0 和cuDNN of 7.5。训练对彩色合成噪声图像的去噪模型花了大约144小时。 ## 4.3 组件分析 为了测试BRDNet中各项技术对图像去噪的有效性，我们设计了6张可视化图像。图3和图4展示了残余学习对图像去噪的有效性，从图中可以看出，不含残余学习操作的BRDNet得到的平均PSNR值要明显低于含残余学习的BRDNet得到的PSNR平均值。两个子网络中的残余学习技术分别被用来获取各自分支的清晰图像。然后，将获得的清晰图像而不是噪声映射进行融合以获得更清晰的图片，这可以防止噪声的增强。不过需要注意的是，尽管融合图像可以提高图像质量，但是与给定的清晰图像相比，这可能导致部分像素过分突出。因此，最后一层的卷积操作被用来消除上述影响，并将获得的特征转换成相应的噪声映射。最后，BRDNet末端的残余学习被用来通过噪声图像和预测的噪声映射获取最终的清晰图像。含有三个残余学习的BRDNet和仅含有一个残余学习的BRDNet的去噪表现在表1中以‘Two sub-networks without RL’和‘BRDNet’分别进行表示。此外，一些其他可组合单元组件，如批量重规范化和扩张卷积对于提高网络去噪表现也非常有用。  <img src="http://luxuff.cn/upload/2021/06/brdnet_t1-14c501a836e94525b0605bdd784f84db.png" style=width:60%></img> 我们使用批量重规范化技术来提高图像去噪表现。BRN使用单个样本而不是整个小批量数据来近似训练数据的分布。这个方法不仅能有效解决小批量和小批量非数据独立同分布问题，还继承了前面提到的BN的优点。BRN已经在2.3节进行过详细叙述。为了验证当训练时的batch值较小时BRN的去噪效果比BN更好，我们设计了几个实验。将batch size分别设为20、32和64，σ都为15。训练数据集是Waterloo Exploration Database (Ma et al., 2017)，测试数据集是McMaster (Zhang, Wu, Buades, & Li, 2011)。从表2可以看出，batch size越小，BRN的表现就越好。例如，当batch size设为20时，BRDNet表现出了相当出色的性能。因此，BRN更适合小批量设置条件下的图像去噪工作。而较小的batch size又非常适合低配置硬件，因此，带BRN的BRDNet非常适合实际应用。 <img src="http://luxuff.cn/upload/2021/06/brdnet_t2-057a440a89fa41ee910aeaeea38decdf.png" style="width:60%"></img> 将残余学习和BRN结合起来进行图像去噪也非常有意思。相应地，我们也进行了对比实验，结果分别如图5和图6所示。从图中可以看出，进行图像去噪时，BRN和RL进行结合得到的平均PSNR值比单一的RL得到的值要高。 扩张卷积通过增大感受野使网络能够从上下文中获取更多信息。因此，使用BRDNet进行图像去噪时也用到了扩张卷积。扩张卷积的有效性在图7和图8中进行了展示。从图中可以看出，RL、BRN和扩张卷积结合后的去噪效果要比只有RL和BRN结合的效果好。此外，从图1可以看出，下层网络使用扩张卷积时得到的PSNR值比不使用时的值要高。这也证明了扩展卷积在BRDNet中对做图像去噪时的有效性。 <img src="http://luxuff.cn/upload/2021/06/brdnet_f4-cae0891f4ea64eb7a0219f1ea5a13f68.png" style="width:90%"></img> 众所周知，不同的网络结构可以生成不同的特征 (Zhang et al., 2018)，并且这些特征如果是在做图像去噪时得到的，则他们是互补的。因此，我们为BRDNet设计了两个不同的网络结构（例如，上层网络和下层网络）以提高去噪效果。在对图像去噪时，两个子网络的融合比单个网络要有效得多。例如，如表1所示，当σ=50时，BRDNet具有比上层网络和下层网络都高的PSNR值。此外，值得注意的是，我们只在下层网络中应用了扩张卷积以进行图像去噪，这不仅使得我们可以在两个子网络之间产生显著性差异，并且这比两个网络都应用扩张卷积要更有效，这在表3中进行了证明。如果两个子网络在第2-8层和10-15层都使用扩张卷积（比如由两个下层网络组成)，他们的运行时间就会比现在的BRDNet要高，但是他们的去噪表现却是一样的，这在表1中进行了展示。因此，BRDNet现在的网络架构是非常合理的。另外，BRDNet的表现将在第4.4\~4.6节进行说明。 <img src="http://luxuff.cn/upload/2021/06/brdnet_t3-b0aa23ddd974468194781f77946f236b.png" style="width:80%"></img> ## 4.4 BRDNet对灰度和彩色图像的去噪 对于灰度噪声图像去噪，BRDNet和几种SOTA方法（如BM3D, WNNM, EPLL, MLP, CFS, TNRD,DnCNN, IRCNN and FFDNet）都是在BSD68数据集上开展的实验。如表4所示，我们提出的BRDNet在实验中获得了最高的PSNR值，这比BM3D 和DnCNN对灰度图像去噪的效果都要好。在表4中，对于不同的σ值，我们将最佳和次佳的PSNR结果分别以红色和蓝色进行了突出显示。当σ=25时，BRDNet得到的PSNR值比BM3D 得到的高了0.72 dB，这说明BRDNet具有更好的表现。 <img src="http://luxuff.cn/upload/2021/06/brdnet_t4-63a84583b8324753b7f70a31a2f63b8f.png" style="width:80%"></img> 如图9所示，为了更容易地观察BRDNet和其他方法的去噪表现，我们将用不同方法获得的潜在清晰图像的同一个区域进行了放大处理。为了观察对单类图像去噪的表现，我们使用Set12数据集进行了实验。图10显示了Set12数据集内的图像。表5显示了我们用BRDNet和上述提到的其他方法基于Set12数据集得到的单张去噪图像的PSNR值，同样，我们将用各个方法得到最佳和次佳的PSNR结果分别以红色和蓝色进行了突出显示。图11展示了我们基于上述方法得到的可视化结果。从图中可以看出，与其他方法相比，我们提出的方法可以恢复并得到更为清晰的图像。 <img src="http://luxuff.cn/upload/2021/06/brdnet_f5-f0459627d98e4caa820fc0a816200f10.png" style="width:80%"></img> <img src="http://luxuff.cn/upload/2021/06/brdnet_f6-88e22988490446cfb863e3919f40801e.png" style="width:90%"></img> <img src="http://luxuff.cn/upload/2021/06/brdnet_t5-19c689849ec74aaeaa8eb8a8a9cafe85.png" style="width:90%"></img> <img src="http://luxuff.cn/upload/2021/06/brdnet_f7-2e78045a2eff47279277c259e118701a.png" style="width:100%"></img> 对于彩色噪声图像去噪，我们分别使用了6个不同的噪声强度(σ= 15,25,35,50,60,75) 训练了模型。我们在CBSD68, Kodak24 (Franzen, 1999)和McMaster 数据集上与其他SOTA方法进行了彩色图像去噪效果对比，结果如表6所示，我们还将不同σ值下得到的最佳和次佳PSNR值分别以红色和蓝色进行了标注。从表中可以看出，我们提出的BRDNet在彩色图像去噪效果方面比其他方法更有效，这表明该网络在低、高强度噪声去噪方面都非常鲁棒。比如，当σ= 75时，在Kodak24 数据集上BRDNet取得的平均PSNR值比FFDNet高了0.24 dB；当σ= 15时，在McMaster数据集上BRDNet取得的平均PSNR值比IRCNN高了0.50 dB。 <img src="http://luxuff.cn/upload/2021/06/brdnet_t6-98536b0c92634c2888caf7d3228cdf46.png" style="width:80%"></img> 图12和图13分别生动地描述了不同方法在σ= 35 和σ= 60时对彩色图像噪声的去噪效果。从图中可以看出，用我们提出的BRDNet获得的清晰图像比用其他方法获得的清晰图像要更清晰，因此，我们提出的方法要更适合彩色图像去噪。从对灰度图和彩色图的去噪实验结果来看，我们提出的方法在图像去噪方面要比其他SOTA方法更鲁棒、更有效。基于这些结果，很明显我们提出的BRDNet在灰度图和彩色图去噪方面要比BM3D这些传统去噪方法和DnCNN这些SOTA方法都要优秀。 <img src="http://luxuff.cn/upload/2021/06/brdnet_f8-4961514676c54c7489729e1f0176b1be.png" style="width:100%"></img> ## 4.5 BRDNet用于真实噪声图像去噪 为了测试我们提出的方法对真实噪声图像的去噪效果，我们选择了color blockmatching and 3-D filtering(CBM3D), MLP , TNRD, DnCNN, CSF (Schmidt & Roth, 2014), noise clinic (NC) (Lebrun, Colom, & Morel,2015a, 2015b) 和WNNM (Gu et al., 2014) 这些流行方法来设计对比实验。从表7可以看出，使用我们提出的方法得到的结果比TNRD, WNNM和DnCNN分别提高了0.12 dB, 0.96 dB 和2.87 dB。在表中，红色和蓝色标注的地方仍分别表示各种条件下的最佳和次佳结果。因此我们提出的方法要更适合处理诸如真实噪声图像等更为复杂的噪声图像。 <img src="http://luxuff.cn/upload/2021/06/brdnet_t7-b5ed1129f4d64005a2300844629aaa70.png" style="width:100%"></img> ## 4.6 运行时间 在评估低层次视觉表现效果时，测试速度是比训练速度更为重要的指标(Dabov et al., 2007;Gu et al., 2014; Schmidt & Roth, 2014)。因此我们使用大小为256×256,512×512和1024 ×1024的灰度图像，再加上σ= 25的高斯噪声，将我们提出的方法与BM3D, WNNM, EPLL, MLP, TNRD, CSF 和DnCNN进行了运行时间对比实验。同样，我们发现，在GPU上运行时，BRDNet与DnCNN这些方法相比仍具有相当的竞争力，具体结果如表8所示。 <img src="http://luxuff.cn/upload/2021/06/brdnet_t8-d10efdccaf614f61b4a531b72bd07f9c.png" style="width:90%"></img> 一个优秀的去噪器应该在PSNR值和运行时间中实现一个折衷处理 (Zhang, Zuo, Gu & Zhang, 2017)。我们提出的带BRN的BRDNet的去噪有效性已经通过前述实验证实了。例如，带BRN的BRDNet在GTX960和GTX970这些低配置硬件上具有一定的运行优势。而且，由于两个子网络的互补性，BRDNet在彩色合成噪声图像和真实噪声图像去噪方面比DnCNN这些SOTA方法更鲁棒。 另外，如表1和表9所示，与两种DnCNN网络相比，具有扩张卷积的BRDNet的浅层架构无论是在去噪表现还是在计算复杂度方面都非常能打。即BRDNet只需要很低的计算成本，这使得它非常适合应用于智能手机和相机。总之，这些实验都证明BRDNet是一个更强的去噪器。 <img src="http://luxuff.cn/upload/2021/06/brdnet_t9-aa0b2b6b7f27462f89bd7f5b5afb0056.png" style="width:80%"></img> # 5. 结论 本文提出了一种全新的基于卷积神经网络的去噪模型，我们将其命名为BRDNet，它结合了两个不同的子网络以增强去噪表现。此外，BRDNet还应用了BRN、RL和扩张卷积来改进去噪效果，这使得模型更易于训练。BRN不仅用于加速网络收敛，还解决了小批量问题。RL被用于从噪声图像中分离噪声，以获取潜在的清晰图像。扩张卷积可以通过扩大感受野来获取更多的上下文信息。实验结果表明，BRDNet在图像去噪方面与其他SOTA方法相比具有相当的竞争优势。未来，我们计划使用带先验知识的卷积神经网络来处理更复杂的真实噪声图像去噪问题，比如暗光和模糊图像去噪。 # 致谢 本文得到了中国国家自然科学基金(批准号61876051)、深圳市科技创新委员会(批准号JCYJ20170811155725434)的部分资助。 # 参考文献 \[1\] Barbu, A. (2009a). Learning real-time MRF inference for image denoising. \[2\] Barbu, A. (2009b). Training an active random field for real-time image denoising. IEEE Transactions on Image Processing, 18(11), 2451–2462. \[3\] Beck, A., & Teboulle, M. (2009). Fast gradient-based algorithms for constrained total variation image denoising and deblurring problems. IEEE Transactions on Image Processing, 18(11), 2419–2434. \[4\] Burger, H. C., Schuler, C. J., & Harmeling, S. (2012). Image denoising: Can plain neural networks compete with BM3D? In Computer vision and pattern recognition, 2012 IEEE conference on (pp. 2392–2399). IEEE. \[5\] Chambolle, A. (2004). An algorithm for total variation minimization and applications. Journal of Mathematical Imaging and Vision, 20(1–2), 89–97. \[6\] Chen, J., Chen, J., Chao, H., & Yang, M. (2018). Image blind denoising with generative adversarial network based noise modeling. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3155–3164). \[7\] Chen, Y., & Pock, T. (2017). Trainable nonlinear reaction diffusion: A flexible framework for fast and effective image restoration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6), 1256–1272. \[8\] Chollet, F., et al. (2015). Keras: Deep learning library for theano and tensorflow. > URL: https://keras.io/k. \[9\] Chu, M., Wu, S., Gu, Y., & Xu, Y. (2017). Rich features and precise localization with region proposal network for object detection. In Chinese conference on biometric recognition (pp. 605–614). Springer. \[10\] Cruz, C., Foi, A., Katkovnik, V., & Egiazarian, K. (2018). Nonlocality-reinforced convolutional neural networks for image denoising. arXiv preprint arXiv: 1803.02112. \[11\] Dabov, K., Foi, A., Katkovnik, V., & Egiazarian, K. (2007). Image denoising by sparse 3-D transform-domain collaborative filtering. IEEE Transactions on Image Processing, 16(8), 2080–2095. \[12\] Dong, C., Loy, C. C., He, K., & Tang, X. (2016). Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(2), 295–307. \[13\] Dong, W., Wang, P., Yin, W., Shi, G., Wu, F., & Lu, X. (2018). Denoising prior driven deep neural network for image restoration. arXiv preprint arXiv: 1801.06756. \[14\] Dong, W., Zhang, L., Shi, G., & Li, X. (2013). Nonlocally centralized sparse representation for image restoration. IEEE Transactions on Image Processing, 22(4), 1620–1630. \[15\] Du, B., Wei, Q., & Liu, R. (2019). An improved quantum-behaved particle swarm optimization for endmember extraction. IEEE Transactions on Geoscience and Remote Sensing. \[16\] Du, B., Xiong, W., Wu, J., Zhang, L., Zhang, L., & Tao, D. (2017). Stacked convolutional denoising auto-encoders for feature representation. IEEE Transactions on Cybernetics, 47(4), 1017–1027. \[17\] Fei, L., Lu, G., Jia, W., Teng, S., & Zhang, D. (2018). Feature extraction methods for palmprint recognition: A survey and evaluation. IEEE Transactions on Systems, Man, and Cybernetics: Systems. \[18\] Franzen, R. (1999). Kodak lossless true color image suite. source: http://r0k.us/graphics/kodak. \[19\] Gu, S., Zhang, L., Zuo, W., & Feng, X. (2014). Weighted nuclear norm minimization with application to image denoising. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2862–2869). \[20\] Guo, K., Wu, S., & Xu, Y. (2017). Face recognition using both visible light image and near-infrared image and a deep network. CAAI Transactions on Intelligence Technology, 2(1), 39–47. \[21\] He, K., Zhang, X., Ren, S., & Sun, J. (2014). Spatial pyramid pooling in deep convolutional networks for visual recognition. In European conference on computer vision (pp. 346–361). Springer. \[22\] He, K., Zhang, X., Ren, S., & Sun, J. (2015). Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In Proceedings of the IEEE international conference on computer vision (pp. 1026–1034). \[23\] He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770–778). \[24\] Ioffe, S. (2017). Batch renormalization: Towards reducing minibatch dependence in batch-normalized models. In Advances in neural information processing systems (pp. 1945–1953). \[25\] Ioffe, S., & Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502. 03167. \[26\] Jiao, J., Tu, W. -C., He, S., & Lau, R. W. (2017). Formresnet: formatted residual learning for image restoration. In Computer vision and pattern recognition workshops. 2017 ieee conference on (pp. 1034–1042). IEEE. \[27\] Kim, J., Kwon Lee, J., & Mu Lee, K. (2016). Deeply-recursive convolutional network for image super-resolution. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1637–1645). \[28\] Kim, J., Kwon Lee, J., & Mu Lee, K. Accurate image super-resolution using very deep convolutional networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1646–1654). \[29\] Kingma, D., & Ba, J. (2014). Adam: A method for stochastic optimization. Computer Science. \[30\] Kligvasser, I., Shaham, T. R., & Michaeli, T. (2017). xUnit: Learning a Spatial activation function for efficient image restoration. arXiv preprint arXiv: 1711.06445. \[31\] Kokkinos, F., & Lefkimmiatis, S. (2018). Iterative residual network for deep joint image demosaicking and denoising. arXiv preprint arXiv:1807.06403. \[32\] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems (pp. 1097–1105). \[33\] Lai, W. -S., Huang, J. -B., Ahuja, N., & Yang, M. -H. (2017). Deep laplacian pyramid networks for fast and accurate superresolution. In IEEE conference on computer vision and pattern recognition: vol. 2, (3), (p. 5). \[34\] Latif, G., Iskandar, D. A., Alghazo, J., Butt, M., & Khan, A. H. (2018). Deep CNN based MR image denoising for tumor segmentation using watershed transform. International Journal of Engineering & Technology, 7(2.3), 37–42. \[35\] Lebrun, M., Colom, M., & Morel, J. -M. (2015a). Multiscale image blind denoising. IEEE Transactions on Image Processing, 24(10), 3149–3161. \[36\] Lebrun, M., Colom, M., & Morel, J. -M. (2015b). The noise clinic: a blind image denoising algorithm. Image Processing on Line, 5, 1–54. \[37\] Li, S., Yin, H., & Fang, L. (2012). Group-sparse representation with dictionary learning for medical image denoising and fusion. IEEE Transactions on Biomedical Engineering, 59(12), 3450–3459. \[38\] Lin, G., Milan, A., Shen, C., & Reid, I. D. (2017). RefineNet: Multi-path refinement networks for high-resolution semantic segmentation. In CVPR: Vol. 1, (2), (p. 5). \[39\] Long, J., Shelhamer, E., & Darrell, T. (2015). Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3431–3440). \[40\] Lu, Y., Yuan, C., Zhu, W., & Li, X. (2018). Structurally incoherent low-rank nonnegative matrix factorization for image classification. IEEE Transactions on Image Processing, 27(11), 5248–5260. \[41\] Ma, K., Duanmu, Z., Wu, Q., Wang, Z., Yong, H., Li, H., et al. (2017). Waterloo exploration database: New challenges for image quality assessment models. IEEE Transactions on Image Processing, 26(2), 1004–1016. \[42\] Mairal, J., Bach, F., Ponce, J., Sapiro, G., & Zisserman, A. (2009). Non-local sparse models for image restoration. In Computer vision, 2009 IEEE 12th international conference on (pp. 2272–2279). IEEE. \[43\] Malfait, M., & Roose, D. (1997). Wavelet-based image denoising using a Markov random field a priori model. IEEE Transactions on Image Processing, 6(4), 549–565. \[44\] Nam, S., Hwang, Y., Matsushita, Y., & Joo Kim, S. (2016). A holistic approach to cross-channel image noise modeling and its application to image denoising. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1683–1691). \[45\] Pascanu, R., Mikolov, T., & Bengio, Y. (2013). On the difficulty of training recurrent neural networks. In International conference on machine learning (pp. 1310–1318). \[46\] Plotz, T., & Roth, S. (2017). Benchmarking denoising algorithms with real photographs. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1586–1595). \[47\] Ren, C., He, X., & Pu, Y. (2018). Nonlocal similarity modeling and deep CNN gradient prior for super resolution. IEEE Signal Processing Letters, 25(7), 916–920. \[48\] Roth, S., & Black, M. J. (2009). Fields of experts. International Journal of Computer Vision, 82(2), 205. \[49\] Rudin, L. I., Osher, S., & Fatemi, E. (1992). Nonlinear total variation based noise removal algorithms. Physica D. Nonlinear Phenomena, 60(1–4), 259–268. \[50\] Schmidt, U., & Roth, S. (2014). Shrinkage fields for effective image restoration. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2774–2781). \[51\] Si-Yao, L., Ren, D., Hu, Z., Li, J., Yin, Q., & Guo, P. (2018). A concatenated residual network for image deblurring. arXiv preprint arXiv:1804.06042. \[52\] Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., et al. (2015). Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1–9). \[53\] Tai, Y., Yang, J., & Liu, X. (2017). Image super-resolution via deep recursive residual network. In Proceedings of the IEEE conference on computer vision and pattern recognition: 1, (2), (p. 5). \[54\] Wang, Z., Liu, D., Yang, J., Han, W., & Huang, T. (2015). Deep networks for image super-resolution with sparse prior. In Proceedings of the IEEE international conference on computer vision (pp. 370–378). \[55\] Wang, T., Sun, M., & Hu, K. (2017). Dilated residual network for image denoising. arXiv preprint arXiv:1708.05473. \[56\] Wen, J., Fang, X., Xu, Y., Tian, C., & Fei, L. (2018). Low-rank representation with adaptive graph regularization. Neural Networks. \[57\] Wen, J., Xu, Y., Li, Z., Ma, Z., & Xu, Y. (2018). Inter-class sparsity based discriminative least square regression. Neural Networks, 102, 36–47. \[58\] Xu, J., Li, H., Liang, Z., Zhang, D., & Zhang, L. (2018). Real-world noisy image denoising: A new benchmark. arXiv preprint arXiv:1804.02603. \[59\] Xu, J., Zhang, L., & Zhang, D. (2018). External prior guided internal prior learning for real-world noisy image denoising. IEEE Transactions on Image Processing, 27(6), 2996–3010. \[60\] Yu, F., & Koltun, V. (2015). Multi-scale context aggregation by dilated convolutions. arXiv preprint arXiv:1511.07122. \[61\] Zhang, Y., Tian, Y., Kong, Y., Zhong, B., & Fu, Y. (2018). Residual dense network for image super-resolution. In The IEEE conference on computer vision and pattern recognition. \[62\] Zhang, L., Wu, X., Buades, A., & Li, X. (2011). Color demosaicking by local directional interpolation and nonlocal adaptive thresholding. Journal of Electronic Imaging, 20(2), 023016. \[63\] Zhang, L., & Zuo, W. (2017). Image restoration: From sparse and low-rank priors to deep priors \[lecture notes\]. IEEE Signal Processing Magazine, 34(5),172–179. \[64\] Zhang, K., Zuo, W., Chen, Y., Meng, D., & Zhang, L. (2017). Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising. IEEE Transactions on Image Processing, 26(7), 3142–3155. \[65\] Zhang, K., Zuo, W., Gu, S., & Zhang, L. (2017). Learning deep CNN denoiser prior for image restoration. In IEEE conference on computer vision and patternrecognition: Vol. 2. \[66\] Zhang, K., Zuo, W., & Zhang, L. (2018a). FFDNet: Toward a fast and flexible solution for CNN based image denoising. IEEE Transactions on Image Processing. \[67\] Zhang, K., Zuo, W., & Zhang, L. (2018b). Learning a single convolutional superresolution network for multiple degradations. In IEEE conference on computer vision and pattern recognition: 6. \[68\] Zoran, D., & Weiss, Y. (2011). From learning models of natural image patches to whole image restoration. In Computer vision, 2011 IEEE international conference on (pp. 479–486). IEEE. \[69\] Zuo, W., Zhang, L., Song, C., Zhang, D., & Gao, H. (2014). Gradient histogram estimation and preservation for texture enhanced image denoising. IEEE Transactions on Image Processing, 23(6), 2459–2472.