基于深度学习的图像超分辨率重建方法综述

《基于深度学习的图像超分辨率重建方法综述》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

云南民族大学学报(自然科学版)，2019，28(6):597－605CN53－1192/NISSN1672－8513doi:10．3969/j．issn．1672－8513．2019．06．013http://ynmz.cbpt.cnki.net基于深度学习的图像超分辨率重建方法综述1，23陈文静，唐轶(1．中国科学院西安光学精密机械研究所光谱成像技术重点实验室，陕西西安710119;2．中国科学院大学，北京100049;3．云南民族大学数学与计算机科学学院，云南昆明650500)摘要:图像超分辨率重建(super－resolution，SＲ)是指从观测到的低分辨率图像重建出相应的高分辨率图像，在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值．近年来，随着深度学习的迅速发展，基于深度学习的图像超分辨率重建方法取得了显著的进步．为了把握目前基于深度学习的图像超分辨率重建方法的发展情况和研究热点，对一些最新的基于深度学习的图像超分辨率重建方法进行了梳理，将它们分为两大类(有监督的和无监督的)分别进行阐述．然后，在公开的数据集上，将主流方法的性能进行了对比分析．最后，对基于深度学习的图像超分辨率重建方法进行了总结，并对其未来的研究趋势进行了展望．关键词:图像超分辨率重建;深度学习;卷积神经网络;生成对抗网络中图分类号:TP391.4文献标志码:A文章编号:1672－8513(2019)06－0597－09图像超分辨率重建(superresolution，SＲ)，简称1有监督的基于深度学习的图像超分辨率超分，是指从观测到的低分辨率图像重建出相应的重建高分辨率图像，是计算机视觉和图像处理领域里一种重要的图像处理技术，在许多领域有着重要的应目前大多数基于深度学习的超分方法都是有监用价值，比如目标检测、医学成像和卫星遥感等．由督的，即训练时使用低分辨率图像和对应的真实高于总有多个高分辨率图像对应于同一个低分辨率图分辨率图像．根据网络类型的不同，有监督的超分方像，因此超分问题非常具有挑战性且是一个不适定法可以分为基于CNN的方法和基于GAN的方法．问题．此外，随着超分缩放因子的增大，图像丢失细1.1基于CNN的超分方法［7］节的恢复会更加复杂．Dong等受传统基于稀疏编码的超分方法的近年来，随着深度学习的迅速发展，深度学习被启发，首次提出了基于CNN的超分方法，简称SＲC-［1－3］应用于各种人工智能任务，比如图像分类和目NN(super－resolutionconvolutionalneuralnetwork)．［4－6］标检测等，并取得了突破性进展，研究学者们也SＲCNN的结构设计简单，先用双3次插值把低分辨积极地探索用深度学习来解决超分问题，提出了各率图像放大至和要重建的高分辨率图像相同的尺种各样的基于深度学习的超分方法，从早期的基于寸，然后用3个卷积层分别进行图像块提取和表达、卷积神经网络(convolutionalneuralnetwork，CNN)非线性映射和重建操作．随着SＲCNN的成功，研究［7］的方法(例如，SＲCNN)再到后来的基于生成对抗学者们积极地探索基于CNN的超分方法，下面将介网络(generativeadversarialnetwork，GAN)的方法绍几种有代表性的方法．［8］(例如，SＲGAN)，都展示了很好的性能．这些基于1.1.1基于残差密集网络的超分方法［9］深度学习的超分方法之间的不同之处主要体现在:Zhang等提出了ＲDN(residualdensenet-网络结构，损失函数，以及学习原理和策略等．work)，充分利用了所有卷积层的分层特征．如图1收稿日期:2019－08－09．基金项目:国家自然科学基金(61462096，61866040，61561053)．作者简介:陈文静(1992－)，女，博士研究生．主要研究方向:图像处理、图像超分辨率重建、机器学习．

1598云南民族大学学报(自然科学版)第28卷所示，ＲDN主要包含4部分:浅层特征提取网络状态发送到当前ＲDB中的每一个卷积层，局部残差(shallowfeatureextractionnet，SFENet)，残差密集块学习表示当前ＲDB的输出等于上一个ＲDB的输出(residualdenseblocks，ＲDBs)，密集特征融合加上当前ＲDB局部特征融合后的输出;DFF包括全(densefeaturefusion，DFF)，上采样网络(up－sam-局特征融合和全局残差学习;UPNet表示网络最后plingnet，UPNet)．SFENet包括2个卷积层，用来提的上采样和卷积操作，实现对输入图片的放大作用．取浅层特征;ＲDB结构如图2所示，将残差块和密ＲDN的优点是，能充分利用原始低分辨率图像的分集块进行了整合，连续记忆机制会将上一个ＲDB的层特征．1.1.2基于任意放大网络的超分方法用来提取低分辨率图像的特征，这里选取残差密为了解决大多数超分方法针对每个缩放因集网络(ＲDN)作为特征学习模块(也可以用ED-［11］［11］［12］子分别训练一个模型从而导致计算效率低，而且SＲ、MDSＲ或ＲCAN等)，其中每个残差［10］只考虑了整数缩放因子的问题，Hu等提出了密集块(ＲDB)有8个卷积层;Meta－Upscale模Meta－SＲ，能通过单个模型实现低分辨率图像进块由几个全连接层和激活层组成，代替了传统的行任意缩放因子(包括非整数缩放因子)的超分．上采样模块，对于任意的缩放因子能动态地预测Meta－SＲ的结构如图3所示，整个网络包括特征滤波器的权重，并用这些权重来生成高分辨率学习模块和Meta－Upscale模块．特征学习模块图像．

2第6期陈文静，唐轶:基于深度学习的图像超分辨率重建方法综述5991.1.3基于处理多种退化类型的卷积神经网络的后作为输入，然后用多个卷积层来执行非线性映超分方法射，除了最后的一个卷积层只采用了卷积操作外，基于CNN的超分方法通常假设低分辨率图像其它每层包括的操作有卷积、修正线性单元和批是由高分辨率图像通过双3次插值的方法下采样得标准化，得到的多个高分辨率子图像再经过一个到的，当真实的退化不符合这种假设时会导致性能子像素卷积层转换为最终输出的高分辨图像．［13］较差，为了应对这种情况，Zhang等提出了SＲMDSＲMD的优点是:①适用于多种退化类型，具有高(super－resolutionnetworkformultipledegrada-实用性;②提出的维度拉伸策略能解决低分辨率tions)．SＲMD的结构如图4所示，先用维度拉伸策图像、模糊核和噪声之间的维度不匹配问题，且可略得到退化图，再将低分辨率图像和退化图级联以扩展到去噪等其它任务．1.1.4基于反馈网络的超分方法合，最后FB的输出通过ＲB输出残差并和低分辨率Zhen等［14］提出了SＲFBN(super－resolution图像(LＲ)的上采样相加，得到本次迭代的最后输出，feedbacknetwork)．SＲFBN有较强的早期重建能力，第T次迭代的最后输出即最终的高分辨率图像．SＲF-可以逐步生成最终的高分辨率图像，结构如图5所BN的优点是:①通过反馈连接在自上而下的反馈流示，整个网络可以展开成T次迭代，放置在每次迭代t中提供高级信息，这种具有反馈连接的循环结构只需中的子网络包含低分辨率特征提取块(LＲFB)、反馈要很少的参数;②提出的FB可以有效地处理反馈信块(FB)、重建块(ＲB)，先通过LＲFB去提取低级特息流以及特征再使用;③提出的基于课程的学习策征，然后通过FB和上一个迭代里FB输出的特征结略使得网络能逐步学习复杂的退化模型．1.1.5基于神经架构搜索的超分方法方法处理超分问题，还提出了基于混合控制器的微观为了通过神经架构搜索自动达到图像重建能力和宏观层面的弹性搜索策略．FALSＲ的结构如图6所［15］和模型简洁性之间的平衡，Chu等提出了几种快示，包含了:预定义的特征提取器，通过宏观搜索空间速、准确和轻量级的超分架构和模型FALSＲ(fast，ac-的连接相连的n个来自微观搜索空间的单元块curateandlightweightsuper－resolution)，使用多目标(cell)，以及基于子像素的上采样和重建．

3600云南民族大学学报(自然科学版)第28卷1.2基于GAN的超分方法分方法，简称SＲFeat(super－resolutionwithfea-生成对抗网络(generativeadversarialnetworks，turediscrimination)，使用2个不同的判别器(用［16］GAN)包含2个相互对抗的网络，一个是生成器，另于图像域的图像判别器和用于特征域的特征判一个是判别器．在基于GAN的超分方法中，生成器的别器)，还提出了一个新的具有远程跳跃连接的目的是生成尽量接近真实图像的高分辨率图像，使判生成器．该特征判别器通过区分生成器生成的图别器不能准确判断其真(指真实图像)假(指生成器生像的特征和真实图像的特征，能促进生成器产生成的图像)，判断器的目的是尽可能准确判断图像的真高频结构特征而不是噪声伪影．SＲFeat的生成器假，生成器和判别器互相博弈最终获得足以“以假乱结构如图7所示，首先用9×9的卷积层提取低［8］真”的高分辨率图像．随着Ledig等提出SＲGAN将分辨率图像的特征，然后使用多个具有远程跳跃GAN用于解决超分问题，重建的高分辨率图像具有非连接的残差块来提取深度特征，再使用子像素卷常好的视觉感知效果，研究学者们开始探索基于GAN积层将残差块提取的特征图上采样至和目标图的超分方法，下面介绍几个有代表性的方法．像相同尺寸;判别器结构如图8所示，卷积层上1.2.1基于特征判别器的超分方法面的数字表示滤波器的数量，下面的s2表示步［17］Park等提出了一个基于特征判别器的超长为2．1.2.2基于流形和感知损失的超分方法响，残差不满足高斯分布．为了对残差中重尾非高斯［18］大部分方法都使用满足高斯分布的距离范数作分布进行建模，Upadhyay等提出了一种基于GAN为损失函数，但实际图像受对比度、对焦和噪声等影的超分辨率学习框架，简称SＲGAN－SQE，包含3个

4第6期陈文静，唐轶:基于深度学习的图像超分辨率重建方法综述601子网络，即生成器G(·，θG)，编码器E(·，θE)，和判行表达和真实值流形表达之间的相似性;判别器利用别器D(·，θD)(θG、θE和θD表示权重参数)．SＲGANKullback－Leibler散度判断生成的高分辨率图像与－SQE的结构如图9所示，生成器学习低分辨率图像真实值是否服从同一分布．通过联合优化生成器、编到高分辨率图像的映射，并同时利用q－拟范数和结码器和判别器，SＲGAN－SQE可以生成纹理结构清晰构相似性作为生成器的损失函数;编码器用于提取图的高分辨率图像．但是，SＲGAN－SQE由于引入了一像的流形表达，使用q－拟范数衡量高分辨率图像流个新的编码网络，增加了方法复杂性．导图像像素到源图像像素的转换．所提出多层感知2无监督的基于深度学习的图像超分辨率器的结构如图10所示，输入为一个引导图像的像素重建值gn以及相应坐标Xn，输出为源图像对应位置像∧在有监督的超分方法中，通常用预先确定的空素值tn，其中n表示第n个像素．基于引导的超分间退化模型(如双3次下采样)将高分辨率图像退方法首先用低分辨率引导图像和源图像训练所提出化为低分辨率图像，进而构建同一场景下成对的低的多层感知器，然后将高分辨率引导图像输入到训分辨率图像和高分辨率图像用于训练深度超分网练好的多层感知器中，最终得到高分辨率源图像．该络．但是在实际应用中通常会面临几个问题:①只基于引导的超分方法未用插值对源图像进行上采有低分辨率图像，很难收集同一场景成对的低分辨样，因此避免了不必要的模糊．率图像和高分辨率图像;②空间退化模型未知;③低分辨率图像易受传感器噪声、运动模糊、图像压缩等因素干扰，成像质量较低．为了构建适用于实际应用的超分方法，越来越多的工作开始关注于无监督的学习方式，即不依赖于额外的低分辨率图像和高分辨率图像对，直接对实际应用中的低分辨率图像进行超分辨率重建．2.1基于引导的超分方法［19］Lutio等提出了一个引导超分方法学习像素到像素的转换，将图像超分问题视为从引导图像域到源图像域的像素转换，先利用下采样操作将高分辨率引导图像转变为与源图像相同尺寸的低分辨率2.2基于深度内部学习的零次超分方法［20］引导图像，再通过多层感知器构建映射函数学习引Shocher等基于单个图像内部信息(例如图像

5602云南民族大学学报(自然科学版)第28卷块)在不同尺度会重复出现的假设，提出了无监督的进行旋转、翻转等操作进行数据增强得到Iaugmented;然零次超分方法ZSSＲ(zero－shotsuper－resolution)，利后，将Iaugmented下采样n倍得到LＲ(Iaugmented)，则LＲ用单个图像内部信息训练一个图像特定的CNN．(Iaugmented)和Iaugmented构成了训练图像对;接着，重复前ZSSＲ仅利用测试图像构建训练集，使得模型可以适面两步生成大量训练样本，输入到ZSSＲ训练直至收应各种图像的不同设置，可以对任意图像(真实旧照敛;最后，将测试图像I输入到训练完成的ZSSＲ中即片、噪声图像、生物数据以及获取过程未知的图像)进可进行n倍超分．ZSSＲ是首个用CNN做无监督图像行有效超分．ZSSＲ是一个全卷积神经网络，由8个卷超分的方法，不需要用额外的高分辨率图像来预训练积层组成，每个卷积层有64个卷积核，损失函数为L1网络模型．但是，当测试图像的初始分辨率比较低时，函数．ZSSＲ的结构如图11所示，首先对测试图像I该方法的超分效果较差．Matlab中imresize函数的双3次操作分别对各高分3实验辨率图像下采样2倍、3倍和4倍得到相应的低分在3个公开的图像超分辨率重建数据集中，对辨率图像．然后，在Set5、Set14和BSD100数据集主流基于深度学习的图像超分辨率重建方法进行了上，对低分辨率图像用各基于深度学习的图像超分客观性能对比．方法进行2倍、3倍和4倍超分，实验结果分别如表3.1数据集和评价指标1－3所示．由于FALSＲ原始文献只提供了2倍超分［21］［22］结果，故仅在表1中对比FALSＲ的性能;由于SＲ-使用的公开数据集为Set5、Set14和BSD100［23］．Set5数据集有5张测试图像，图像内容分Feat原始文献只提供了4倍超分结果，故仅在表3别是婴儿、鸟、蝴蝶、头、女人．Set14数据集有14张测中对比SＲFeat的性能．SＲCNN方法首次将CNN引入到图像超分任试图像，图像内容包括辣椒、斑马、花朵、男人和桥等．BSD100数据集有100张测试图像，图像内容比较丰务，构建了端到端的超分网络，由表1－3可知，凭借CNN强大的特征学习能力，SＲCNN方法的性能远超富，包括飞机、花瓶、赛车、人和动物等．Set5、Set14和Bicubic方法．随着SＲCNN方法在超分任务中取得BSD100数据集不仅包含了自然景色，也包含了人工的突破性进步，研究学者们提出大量基于深度学习景物，可以有效地测试超分方法的性能．采用2个评的超分方法，比如VDＲ、DＲＲN、ＲDN等，残差连接价指标度量超分方法的性能:峰值信噪比(peaksignal与稠密连接等策略被用来构建越来越深的超分网络－to－noiseratio，PSNＲ)，和结构相似度(structural结构，性能越来越好．为了构建适用于实际应用的超similarityindex，SSIM)．PSNＲ和SSIM的值越大，表分方法，ZSSＲ等无监督的超分方法引起了广泛关示重建图像的质量越好，即超分方法的性能越好．注．ZSSＲ方法能有效利用卷积神经网络捕捉图像内3.2实验结果与分析部信息进行超分，其在Set5、Set14和BSD100数据下面对一些主流的基于深度学习的超分方法进库中的性能超越了有监督的SＲCNN方法．从表1－3行性能对比:双3次插值Bicubic(作为实验对比的［7］［20］［24］可知，随着研究学者们对深度卷积网络的研究不断基准方法)，SＲCNN，ZSSＲ，VDSＲ，DＲ－进步，基于深度学习的超分方法可更加有效地提取［25］［13］［15］［17］ＲN，SＲMDNF，FALSＲ，SＲFeat，SＲF-深度特征，性能不断提升．和Set5和Set14数据集相［14］［9］BN，以及ＲDN．由于Set5，Set14和BSD100数比，由于BSD100数据集更大，且包含了大量城镇风据集只提供了高分辨率图像，因此需要预先根据高景图像，图像纹理信息非常丰富、图像结构复杂，现分辨率图像生成模拟的低分辨率图像．本文使用

6第6期陈文静，唐轶:基于深度学习的图像超分辨率重建方法综述603有方法在BSD100数据集中的性能显著下降．ＲDN因子为3时，分别高4.32、3.02和2.05;在缩放因子方法是表1－3中性能最好的方法，通过比较ＲDN为4时，分别高4.05、2.81和1.76．可以看出，随着方法和Bicubic方法的PSNＲ值可知，在Set5、Set14缩放因子的不断增大，方法性能提升的程度在下降，和BSD100数据集上，ＲDN方法比Bicubic方法:在这表明针对大缩放因子的图像超分任务仍然面临着缩放因子为2时，分别高4.58、3.77和2.84;在缩放许多挑战．表1基于深度学习的超分方法在缩放因子为2时的性能对比Set5Set14BSD100MethodsPSNＲSSIMPSNＲSSIMPSNＲSSIMBicubic33.660.929930.240.868829.560.8431［7］SＲCNN36.660.954232.450.906731.360.8879［20］ZSSＲ37.370.957033.000.910831.650.8920［24］37.530.958733.050.912731.900.8960VDSＲ［25］DＲＲN37.740.959133.230.913632.050.8973［13］SＲMDNF37.790.960133.320.915932.050.8985［15］37.820.959533.550.916832.120.8987FALSＲ［14］SＲFBN38.110.960933.820.919632.290.9010［9］ＲDN38.240.961434.010.921832.400.9022表2基于深度学习的超分方法在缩放因子为3时的性能对比Set5Set14BSD100MethodsPSNＲSSIMPSNＲSSIMPSNＲSSIMBicubic30.390.868227.550.774227.210.7385［7］SＲCNN32.750.909029.300.821528.410.7863［20］ZSSＲ33.420.918829.800.830428.670.7945［24］33.660.921329.780.831828.830.7976VDSＲ［25］DＲＲN34.030.924429.960.834928.950.8004［13］SＲMDNF34.120.925430.040.838228.970.8025［14］34.700.929230.510.846129.240.8084SＲFBN［9］ＲDN34.710.929630.570.846829.260.8093表3基于深度学习的超分方法在缩放因子为4时的性能对比Set5Set14BSD100MethodsPSNＲSSIMPSNＲSSIMPSNＲSSIMBicubic28.420.810426.000.702725.960.6675［7］SＲCNN30.480.862827.500.751326.900.7101［20］ZSSＲ31.130.879628.010.765127.120.7211［24］31.350.883828.020.767827.290.7252VDSＲ［25］DＲＲN31.680.888828.210.772127.380.7284［13］SＲMDNF31.960.892528.350.778727.490.7337［17］32.270.893828.710.783527.640.7378SＲFeat［14］SＲFBN32.470.898328.810.786827.720.7409［9］ＲDN32.470.899028.810.787127.720.7419

7604云南民族大学学报(自然科学版)第28卷放因子的图像超分．另一方面，大缩放因子(例如164总结与展望倍)的图像超分任务也受到广大研究学者的关注．作为计算机视觉基础任务之一的图像超分辨率参考文献:重建，可以有效辅助于刑侦、医疗诊断、智慧城市等［1］SZEGEDYC，LIUW，JIAY，etal．Goingdeeperwith实际应用，吸引了学术界和工业界的广泛关注．本文convolutions［C］//ProceedingsoftheIEEEConferenceon对最新基于深度学习的图像超分方法进行梳理，并ComputerVisionandPatternＲecognition．2015:1－9．对比分析了主流基于深度学习的图像超分方法的性［2］HEK，ZHANGX，ＲENS，etal．Deepresiduallearning能．随着研究学者们不断探索，深度学习已在图像超forimagerecognition［C］//ProceedingsoftheIEEECon-分任务上发挥了出色性能，但是，基于深度学习的超ferenceonComputerVisionandPatternＲecognition．2016:770－778．分方法仍然存在一些挑战，这也是未来的研究趋势:［3］HUANGG，LIUZ，MAATENL，etal．Denselyconnected1)研究新的卷积神经网络结构．尽管现有基于convolutionalnetworks［C］//ProceedingsoftheIEEECon-深度学习的图像超分方法已经取得了出色性能，但ferenceonComputerVisionandPatternＲecognition．是如何利用现有技术(如注意力机制、多层卷积特2017:4700－4708．征融合等)构建高效的超分网络仍然是一个值得探［4］ＲENS，HEK，GIＲSHICKＲ，etal．Fasterr－cnn:To-索的问题．一方面，越多越多的研究学者尝试将图像wardsreal－timeobjectdetectionwithregionproposalnet-先验融入到神经网络结构设计中;另一方面，随着神works［C］//AdvancesinNeuralInformationProcessing经架构搜索技术在图像分类任务中的快速发展，研Systems．2015:91－99．究学者们也开始研究如何利用神经架构搜索技术自［5］ZHANGS，WENL，BIANX，etal．Single－shotrefine-mentneuralnetworkforobjectdetection［C］//Proceedings动构造高效的图像超分神经网络结构．oftheIEEEConferenceonComputerVisionandPattern2)研究新的损失函数．经典的L1和L2损失函Ｒecognition．2018:4203－4212．数仍然被广泛应用于各超分方法中，这类损失关注于［6］LIUS，HUANGD．Ｒeceptivefieldblocknetforaccurate重建图像和真实图像之间像素级的误差，容易使超分andfastobjectdetection［C］//ProceedingsoftheEuropean的图像过度平滑．由于L1和L2损失函数无法对图像ConferenceonComputerVision．2018:385－400．轮廓结构、语义信息等进行建模，研究学者们提出将［7］DONGC，LOYC，HEK，etal．Imagesuper－resolution感知损失、结构相似性等度量用作神经网络的损失函usingdeepconvolutionalnetworks［J］．IEEEtransactions数，感知损失可度量2张图像卷积特征之间的相似onpatternanalysisandmachineintelligence，2015，38性，结构相似性可度量两张图像轮廓结构之间的相似(2):295－307．［8］LEDIGC，THEISL，HUSZＲF，etal．Photo－realisticsin-性．但是，现有损失函数仍然不能充分地对图像之间gleimagesuper－resolutionusingagenerativeadversarial的内容、语义等信息进行度量，构建适用于图像超分network［C］//ProceedingsoftheIEEEConferenceonCom-任务的损失函数一直是学术界和工业界的研究热点．puterVisionandPatternＲecognition．2017:4681－4690．3)对实际应用中的低分辨率图像进行超分．现有［9］ZHANGY，TIANY，KONGY，etal．Ｒesidualdensenet-方法在实际应用中表现不佳，一方面，图像空间退化模workforimagesuper－resolution［C］//Proceedingsofthe型一般未知;另一方面，低分辨率图像往往受模糊、图IEEEConferenceonComputerVisionandPatternＲecogni-像压缩等因素干扰，使得图像质量较低．最近，一些研tion．2018:2472－2481．究关注于盲图像超分，即在空间退化模型未知情况下［10］HUX，MUH，ZHANGX，etal．Meta－SＲ:Amagnifi-进行图像超分．还有少数研究学者开始研究使用无监cation－arbitrarynetworkforsuper－resolution［C］//Pro-督的学习方式，直接用低分辨率图像训练模型，生成高ceedingsoftheIEEEConferenceonComputerVisionandPatternＲecognition．2019:1575－1584．分辨率图像．如何直接对实际应用中的低分辨率图像［11］LIMB，SONS，KIMH，etal．Enhanceddeepresidual进行超分，已经逐渐受到研究学者们的关注．networksforsingleimagesuper－resolution［C］//Pro-4)对图像进行任意缩放因子的超分．一方面，ceedingsoftheIEEEConferenceonComputerVisionand现有基于深度学习的超分方法主要关注于单一缩放PatternＲecognitionWorkshops．2017:136－144．因子的图像超分(例如2倍超分)，训练完成的深度［12］ZHANGY，LIK，LIK，etal．Imagesuper－resolution神经网络仅能进行固定倍数图像超分辨率重建．但usingverydeepresidualchannelattentionnetworks［C］//是在实际应用中，往往需要仅用单模型完成任意缩ProceedingsoftheEuropeanConferenceonComputerVi-

8第6期陈文静，唐轶:基于深度学习的图像超分辨率重建方法综述605sion．2018:286－301．tion［C］//ProceedingsoftheIEEEInternationalConfer-［13］ZHANGK，ZUOW，ZHANGL．Learningasingleconvo-enceonComputerVision．2019．lutionalsuper－resolutionnetworkformultipledegrada-［20］SHOCHEＲA，COHENN，LＲANIM．“Zero－shot”su-tions［C］//ProceedingsoftheIEEEConferenceonCom-per－resolutionusingdeepinternallearning［C］//Pro-puterVisionandPatternＲecognition．2018:3262－3271．ceedingsoftheIEEEConferenceonComputerVisionand［14］LIZ，YANGJ，LIUZ，etal．FeedbackNetworkforIm-PatternＲecognition．2018:3118－3126．ageSuper－Ｒesolution［C］//ProceedingsoftheIEEE［21］BEVILACQUAM，ＲOUMYA，GUILLEMOTC，etal．ConferenceonComputerVisionandPatternＲecognition．Low－complexitysingle－imagesuper－resolutionbased2019:3867－3876．onnonnegativeneighborembedding［C］//Proceedingsof［15］CHUX，ZHANGB，MaH，etal．Fast，accurateandtheBritishMachineVisionConference．2012:1－10．lightweightsuper－resolutionwithneuralarchitecture［22］ZEYDEＲ，ELADM，PＲOTTEＲM．Onsingleimagesearch［EB/OL］．(2019－01－24)［2019－08－28］．scale－upusingsparse－representations［C］//Internation-https://arxiv．org/abs/1901．07261．alConferenceonCurvesandSurfaces．2010:711－730．［16］GOODFELLOWI，POUGET－ABADIEJ，MIＲZAM，et［23］MAＲTIND，FOWLKESC，TALD，etal．Adatabaseofal．Generativeadversarialnets［C］//AdvancesinNeuralhumansegmentednaturalimagesanditsapplicationtoe-InformationProcessingSystems．2014:2672－2680．valuatingsegmentationalgorithmsandmeasuringecologi-［17］PAＲKSJ，SONH，CHOS，etal．Srfeat:Singleimagecalstatistics［C］//ProceedingsoftheIEEEInternationalsuper－resolutionwithfeaturediscrimination［C］//Pro-ConferenceonComputerVision．2001:416－423．ceedingsoftheEuropeanConferenceonComputerVision．［24］KIMJ，KWONLEEJ，MULEEK．Accurateimagesu-2018:439－455．per－resolutionusingverydeepconvolutionalnetworks［18］UPADHYAYU，AWATES．Ｒobustsuper－resolution［C］//ProceedingsoftheIEEEConferenceonComputergan，withmanifold－basedandperceptionloss［C］//Pro-VisionandPatternＲecognition．2016:1646－1654．ceedingsoftheIEEEInternationalSymposiumonBiomed-［25］TAIY，YANGJ，LIUX．Imagesuper－resolutionviaicalImaging，2019:1372－1376．deeprecursiveresidualnetwork［C］//Proceedingsofthe［19］LUTIOＲ，D＇AＲONCOS，WEGNEＲJ，etal．Guidedsu-IEEEConferenceonComputerVisionandPatternＲecog-per－resolutionasalearnedpixel－to－pixeltransforma-nition．2017:3147－3155．Asummaryreviewofthemethodsforimagesuper－resolutionreconstructionbasedondeeplearning1，23ChenWen-jing，TangYi(1．KeyLaboratoryofSpectralImagingTechnology，Xi’anInstituteofOpticsandPrecisionMechanics，ChineseAcademyofSciences，Xi’an710119，China;2．UniversityofChineseAcademyofSciences，Beijing100049，China;3．YunnanMinzuUniversity，Kunming650500，China)Abstract:Imagesuper-resolutionreconstructionreferstothereconstructionofcorrespondinghigh-resolutionimagesfromobservedlow-resolutionimagesandhasimportantapplicationvalueinmanyfields，suchastargetdetection，medicalim-aging，andsatelliteremotesensing．Inrecentyears，withthefastdevelopmentofdeeplearning，significantprogresshasbeenmadeinthemethodsforimagesuper-resolutionreconstructionbasedondeeplearning．Inordertograspthecurrentdevelopmentandresearchhotspotsinthisfield，thelatestmethodsareroughlydividedintotwocategories(supervisedandunsupervised)tobedescribedinthisreview．Then，theperformanceofthemainstreammethodsiscomparedincon-nectionwiththepubliclyavailablebenchmarkdatabases．Finally，themethodsforimagesuper-resolutionreconstructionbasedondeeplearningaresummarized，andfutureresearchtrendsarepredicted．Keywords:imagesuper-resolutionreconstruction;deeplearning;convolutionalneuralnetwork(CNN);genera-tiveadversarialnetwork(GAN)(责任编辑段鹏)