深度学习在图像超分辨率重建中的应用 - CSDN博客
深度学习在图像超分辨率重建中的应用
超分辨率技术（Super-Resolution）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可分为两类:从多张低分辨率图像重建出高分辨率图像和从单张低分辨率图像重建出高分辨率图像。基于深度学习的SR，主要是基于单张低分辨率的重建方法，即Single Image Super-Resolution (SISR)。
SISR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应，因此通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中，这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的SR通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。
本文介绍几个较新的基于深度学习的SR方法，包括SRCNN，DRCN, ESPCN，VESPCN和SRGAN等。
Super-Resolution Convolutional Neural Network （SRCNN, PAMI 2016, )是较早地提出的做SR的卷积神经网络。该网络结构十分简单，仅仅用了三个卷积层。
该方法对于一个低分辨率图像，先使用双三次（bicubic）插值将其放大到目标大小，再通过三层卷积网络做非线性映射，得到的结果作为高分辨率图像输出。作者将三层卷积的结构解释成与传统SR方法对应的三个步骤：图像块的提取和特征表示，特征非线性映射和最终的重建。
三个卷积层使用的卷积核的大小分为为9x9, 1x1和5x5，前两个的输出特征个数分别为64和32. 该文章分别用Timofte数据集（包含91幅图像）和ImageNet大数据集进行训练。相比于双三次插值和传统的稀疏编码方法，SRCNN得到的高分辨率图像更加清晰，下图是一个放大倍数为3的例子。
对SR的质量进行定量评价常用的两个指标是PSNR(Peak Signal-to-Noise Ratio)和SSIM（Structure Similarity Index）。这两个值越高代表重建结果的像素值和金标准越接近，下图表明，在不同的放大倍数下，SRCNN都取得比传统方法好的效果。2，
SRCNN的层数较少，同时感受野也较小（13x13）。DRCN (Deeply-Recursive Convolutional Network for Image Super-Resolution, CVPR 2016,)提出使用更多的卷积层增加网络感受野（41x41），同时为了避免过多网络参数，该文章提出使用递归神经网络（RNN）。网络的基本结构如下：
与SRCNN类似，该网络分为三个模块，第一个是Embedding network，相当于特征提取，第二个是Inference network, 相当于特征的非线性变换，第三个是Reconstruction network,即从特征图像得到最后的重建结果。其中的Inference
network是一个递归网络，即数据循环地通过该层多次。将这个循环进行展开，就等效于使用同一组参数的多个串联的卷积层，如下图所示：
其中的到是D个共享参数的卷积层。DRCN将每一层的卷积结果都通过同一个Reconstruction
Net得到一个重建结果，从而共得到D个重建结果，再把它们加权平均得到最终的输出。另外，受到ResNet的启发，DRCN通过skip connection将输入图像与的输出相加后再作为Reconstruction Net的输入，相当于使Inference Net去学习高分辨率图像与低分辨率图像的差，即恢复图像的高频部分。
实验部分，DRCN也使用了包含91张图像的Timofte数据集进行训练。得到的效果比SRCNN有了较大提高。
在SRCNN和DRCN中，低分辨率图像都是先通过上采样插值得到与高分辨率图像同样的大小，再作为网络输入，意味着卷积操作在较高的分辨率上进行，相比于在低分辨率的图像上计算卷积，会降低效率。 ESPCN(Real-TimeSingle Image and Video Super-Resolution Using an Efficient Sub-PixelConvolutional Neural Network，CVPR 2016,)提出一种在低分辨率图像上直接计算卷积得到高分辨率图像的高效率方法。
ESPCN的核心概念是亚像素卷积层(sub-pixel convolutional layer)。如上图所示，网络的输入是原始低分辨率图像，通过两个卷积层以后，得到的特征图像大小与输入图像一样，但是特征通道为(是图像的目标放大倍数)。将每个像素的个通道重新排列成一个r
x r的区域，对应于高分辨率图像中的一个r x r大小的子块，从而大小为 x H x W的特征图像被重新排列成1 x rH x rW大小的高分辨率图像。这个变换虽然被称作sub-pixel convolution, 但实际上并没有卷积操作。
通过使用sub-pixel convolution, 图像从低分辨率到高分辨率放大的过程，插值函数被隐含地包含在前面的卷积层中，可以自动学习到。只在最后一层对图像大小做变换，前面的卷积运算由于在低分辨率图像上进行，因此效率会较高。
重建效果上，用PSNR指标看来ESPCN比SRCNN要好一些。对于1080HD的视频图像，做放大四倍的高分辨率重建，SRCNN需要0.434s而ESPCN只需要0.029s。
4， VESPCN
在视频图像的SR问题中，相邻几帧具有很强的关联性，上述几种方法都只在单幅图像上进行处理，而VESPCN（Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation, arxiv 2016）提出使用视频中的时间序列图像进行高分辨率重建，并且能达到实时处理的效率要求。其方法示意图如下，主要包括三个方面：
一是纠正相邻帧的位移偏差，即先通过Motion estimation估计出位移，然后利用位移参数对相邻帧进行空间变换，将二者对齐。二是把对齐后的相邻若干帧叠放在一起，当做一个三维数据，在低分辨率的三维数据上使用三维卷积，得到的结果大小为。三是利用ESPCN的思想将该卷积结果重新排列得到大小为的高分辨率图像。
Motion estimation这个过程可以通过传统的光流算法来计算，DeepMind 提出了一个Spatial Transformer Networks, 通过CNN来估计空间变换参数。VESPCN使用了这个方法，并且使用多尺度的Motion estimation：先在比输入图像低的分辨率上得到一个初始变换，再在与输入图像相同的分辨率上得到更精确的结果，如下图所示：
由于SR重建和相邻帧之间的位移估计都通过神经网路来实现，它们可以融合在一起进行端到端的联合训练。为此，VESPCN使用的损失函数如下：
第一项是衡量重建结果和金标准之间的差异，第二项是衡量相邻输入帧在空间对齐后的差异，第三项是平滑化空间位移场。下图展示了使用Motion Compensation 后，相邻帧之间对得很整齐，它们的差值图像几乎为0.
从下图可以看出，使用了Motion Compensation，重建出的高分辨率视频图像更加清晰。5，
SRGAN (Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network,,
21 Nov, 2016)将生成式对抗网络（GAN)用于SR问题。其出发点是传统的方法一般处理的是较小的放大倍数，当图像的放大倍数在4以上时，很容易使得到的结果显得过于平滑，而缺少一些细节上的真实感。因此SRGAN使用GAN来生成图像中的细节。
传统的方法使用的代价函数一般是最小均方差（MSE），即
该代价函数使重建结果有较高的信噪比，但是缺少了高频信息，出现过度平滑的纹理。SRGAN认为，应当使重建的高分辨率图像与真实的高分辨率图像无论是低层次的像素值上，还是高层次的抽象特征上，和整体概念和风格上，都应当接近。整体概念和风格如何来评估呢？可以使用一个判别器，判断一副高分辨率图像是由算法生成的还是真实的。如果一个判别器无法区分出来，那么由算法生成的图像就达到了以假乱真的效果。
因此，该文章将代价函数改进为 第一部分是基于内容的代价函数，第二部分是基于对抗学习的代价函数。基于内容的代价函数除了上述像素空间的最小均方差以外，又包含了一个基于特征空间的最小均方差，该特征是利用VGG网络提取的图像高层次特征：对抗学习的代价函数是基于判别器输出的概率：
其中是一个图像属于真实的高分辨率图像的概率。是重建的高分辨率图像。SRGAN使用的生成式网络和判别式网络分别如下：
该方法的实验结果如下
&&&&&& 从定量评价结果上来看，PSNR和SSIM这两个指标评价的是重建结果和金标准在像素值空间的差异。SRGAN得到的评价值不是最高。但是对于MOS（mean opinion score）的评价显示，SRGAN生成的高分辨率图像看起来更真实。
1， Dong, Chao, et al. &Image super-resolution using deep convolutional networks.&IEEE transactions on pattern analysis and machine intelligence 38.2 (2016): 295-307.
2, Kim, Jiwon, Jung Kwon Lee, and Kyoung Mu Lee. &Deeply-recursive convolutional network for image super-resolution.&Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
3, Shi, Wenzhe, et al. &Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network.&Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
4, Caballero, Jose, et al. &Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation.&arXiv preprint arXiv: (2016).
5, Jaderberg, Max, Karen Simonyan, and Andrew Zisserman. &Spatial transformer networks.&Advances in Neural Information Processing Systems. 2015.
6, Ledig, Christian, et al. &Photo-realistic single image super-resolution using a generative adversarial network.&arXiv preprint arXiv: (2016).
本文已收录于以下专栏：
相关文章推荐
/p/?utm_source=tuicool&utm_medium=referral
我刚接触分辨率的时候，会弄错一个概念，会觉得分辨率的高低取决于像素量的多少，例如，一个64*64的图像的分辨率要比一个128*128的图像分辨率高，但其实不是这样子的。
图像分辨率泛指成像或显示系统对...
图像超分辨率重建技术就是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广，在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。在计...
超分辨率技术（Super-Resolution）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可分为两类:从多张低分辨率图像重建出高分...
清晨，师兄推荐给我一篇文章，关于利用DeepLearning思想进行图像超分辨恢复的。超分辨这个话题几年之前还是比较火爆的，无论是BiCube、SP、A*都给出了令人振奋的结果。但...
他的最新文章
讲师：何宇健
讲师：董岩
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)现在的位置:
解密：“无中生有”的计算机视觉
计算机视觉（Computer Vision，CV）是一门研究如何使机器“会看”的科学。1963年来自MIT的Larry Roberts发表了该领域第一篇博士论文《Machine Perception of Three-Dimensional Solids》，标志着CV作为一门新兴人工智能方向研究的开始。在发展了50多年后的今天，我们就来聊聊最近让计算机视觉拥有“无中生有”能力的几个有趣尝试：
超分辨率重建；
图像着色；
看图说话；
人像复原；
图像自动生成。
可以看出，这五个尝试层层递进，难度和趣味程度也逐步提升。由于篇幅有限，本文在此只谈视觉问题，不提太过具体的技术细节，若大家对某部分感兴趣，以后再来单独写文章讨论。
超分辨率重建（Image Super-Resolution）
去年夏天，一款名为“waifu 2x”的岛国应用在动画和计算机图形学中着实火了一把。waifu 2x借助深度“卷积神经网络”(Convolutional Neural Network，CNN)技术，可以将图像的分辨率提升2倍，同时还能对图像进行降噪。简单来说，就是让计算机“无中生有”地填充一些原图中并没有的像素，从而让漫画看起来更清晰真切。大家不妨看看图1、图2，真想童年时候看的就是如此高清的龙珠啊！
图1 《龙珠》超分辨率重建效果。右侧为原画，左侧为waifu 2x对同帧动画超分辨率重建结果
图2 waifu 2x超分辨率重建对比，上方为低分辨率且有噪声的动画图像，左下为直接放大的结果，右下为waifu 2x去噪和超分辨率结果
不过需要指出的是，图像超分辨率的研究始于2009年左右，只是得力于“深度学习”的发展，waifu 2x才可以做出更好的效果。在具体训练CNN时，输入图像为原分辨率，而对应的超分辨率图像则作为目标，以此构成训练的“图像对”（Image Pair），经过模型训练便可得到超分辨率重建模型。waifu 2x的深度网络原型基于香港中文大学汤晓欧教授团队的成果（如图3所示）。有趣的是，这一研究指出可以用传统方法给予深度模型以定性的解释。在图3中，低分辨率图像通过CNN的卷积（Convolution）和池化（Pooling）操作后可以得到抽象后的特征图（Feature Map）。基于低分辨率特征图，同样可以利用卷积和池化实现从低分辨率到高分辨率特征图的非线性映射（Non-Linear Mapping）。最后的步骤则是利用高分辨率特征图重建高分辨率图像。实际上，这三个步骤与传统超分辨率重建方法的三个过程是一致的。
图3 超分辨率重建算法流程。从左至右依次为：低分辨率图像（输入）、经过若干卷积和池化操作得到的低分辨率特征图、低分辨率特征图经过非线性映射得到的高分辨率特征图、高分辨率重建图像（输出）
文章分页: 1
【上篇】【下篇】
您必须才能发表留言！低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？-土地公问答
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
在卷积神经网络中，如果想做低分辨率图像的分类任务，相对于高分辨率图像，信息有一定的缺失，那么这些缺失的信息对分类有什么影响？在不断卷积过程中，低分辨率图像的特征和高分辨率图像相比，特征有怎样的不同？
谢邀。作为一名彻头彻尾的文科生，表示读你的题目都有点费劲儿。原谅我爱莫能助啊～
其它类似问题
其它人正在问的问题迷糊淘汰狼
上传列表：
近期下载：
- 卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的， 另一方面同一层中某些神经元之间的连接的权重是共享的（即相同的）。它的非全连接和权值共享的网络结构使之更类似于生物 神经网络，降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量。 - 基于卷积层和池化层的卷积深度网络被执行，该框架可以有效地识别灰度图像，彩色图像和高光谱图像。 - 一个卷积层+一个下采样+softmax实现mnist识别 - 卷积神经网络程序，包含训练数据样本，具有一定参考价值 - 用matlab编写的cnn网络，含有注释，包含训练集和测试集 - 区别于传统的图像识别，将一维的数据放入cnn网络进行识别 - 基于lenet-5模型，利用CNN进行图像分类 - 改程序来自斯坦福大学的cnn教程。帮助理解cnn的构造过程。赞！！！ - MATLAB语言的CNN算法的例程，可以用于学习CNN算法 - 经典的卷积神经网络MATLAB实现源码，可直接运行。 - 自己编写的CNN程序，包括怎么创建数据集 - 本程序实现深度学习的卷积神经网络（CNN）算法，含有训练程序和测试程序 - 这是matlab的代码，将cnn进行三次池化的代码，可以作为学习卷积神经网络的入门例子 - the test code of cnn net of deep learning and the test example in matlab - 1D CNN和2D CNN网络的仿真实现，包含完整的子函数分解，采用matlab编写 - 是matlab的代码，关于yann Lecun在89年提出的cnn的原型，这个代码成功应用于欧洲很多国家的手写支票识别 - 利用opencv实现brisk算法下的图像配准 - BRISK 图像配准程序，MATLAB实现，速度快，精度高 - 最新的brisk描述子，比sift更快更好，里面是论文作者自己公开的代码，包括matlab版和VC版，测试后可用 - BRISK特征点提取源代码，Linux及Windows，MATLAB环境。